在Centos7上部署kubernetes时,碰到很多坑,特别在摸拟在内网部署时,有来自GFW的障碍,有来自Firewalld的阻塞,反正是各种不服,终于慢慢理顺了思路,自己记录一下,防止遗忘。
环境为Centos7, 准备VMWare快照, 快照环境如下:
-
安装好 CentOS7
1234567yum -y
install
wget vim net-tools
traceroute
#安装常用工具
yum -y kubernetes flannel
#安装kubernetes组件及flannel网络组件
#以下为kubernetes准备gcr镜像
systemctl start docker
docker pull hub.c.163.com
/combk8s/pause
:0.8.0
docker tag hub.c.163.com
/combk8s/pause
:0.8.0 gcr.io
/google_containers/pause
:0.8.0
docker rmi hub.c.163.com
/combk8s/pause
:0.8.0
关机制作快照
部署思路是:master机器可以访问公网,并且作为网关,其它机器都在内网,因此master机器有两张网卡,其它机器与master机器的内网网卡相联
从快照中克隆4台机器,配置如下:
第一台机器 k8s-master,配置成为访问网关
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
|
# 机器 k8s-master, 此台机器除了作为 master 本身,还承担网关的职能 # VM中公网网卡连接方式:桥接, 对应centos系统中的网卡 eno16777736 # VM中私网网卡连接方式:仅主机模式,对应Centos系统中的网卡 eno33554984 # 由于在 k8s-master 机器中, eno33554984 连接其它机器的内网网卡,所以这张网卡需要标为 ZONE=trusted,确保防火墙不干扰内网数据 # eno16777736网卡配置 TYPE= "Ethernet"
NAME= "eno16777736"
UUID= "8b130f48-94d8-4d4c-a6b0-128a36448a6a"
DEVICE= "eno16777736"
IPADDR= "192.168.206.30"
PERFIX= "24"
GATEWAY= "192.168.206.1"
DNS1= "192.168.205.12"
ONBOOT= "yes"
# eno33554984网卡配置 TYPE= "Ethernet"
NAME= "eno33554984"
DEVICE= "eno33554984"
IPADDR= "192.168.127.1"
PERFIX= "24"
ONBOOT= "yes"
ZONE=trusted #开启 k8s-master的路由功能 echo "net.ipv4.ip_forward=1" >> /etc/sysctl .conf
sysctl -p #允许SNAT转发上网 firewall-cmd --permanent --zone=public --add-masquerade firewall-cmd --reload |
第二台机器 k8s-etcd,安装ETCD服务
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
|
# 机器 k8s-etcd,此台机器承担etcd存储服务,仅有一张网卡 # VM中私网网卡连接方式:仅主机模式,对应Centos系统中的网卡 eno16777736 # eno16777736网卡配置 TYPE= "Ethernet"
NAME= "eno16777736"
DEVICE= "eno16777736"
IPADDR= "192.168.127.2"
PERFIX= "24"
GATEWAY= "192.168.127.1"
DNS1= "192.168.205.12"
ONBOOT= "yes"
#安装etcd yum -y install etcd
#修改ETCD配置 vim /etc/etcd/etcd .conf
ETCD_LISTEN_CLIENT_URLS= "http://0.0.0.0:2379"
ETCD_ADVERTISE_CLIENT_URLS= "http://192.168.127.2:2379"
#接下来,为flannel网络产生配置文件,该配置文件用来设置kubernetes中虚拟子网的网段 vim flannel-config.json #文件内容如下
{ "Network" : "10.0.0.0/16" ,
"SubnetLen" :24,
"Backend" :{
"Type" : "vxlan" ,
"VNI" :1
}
} #将配置文件存储到ETCD对应的键上 etcdctl set atomic.io /network/config < flannel-config.json
|
第一台机器 k8s-master,配置成为Kube-master
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
|
# 机器 k8-master,此台机器承担kube-master服务 # kube-master服务主要包含以下组件 # 1. kube-apiserver # 2. kube-controller-manager # 3. kube-scheduler # 4. flannel 网络 # 首先来配置flannel网络,使flannel网络配置从etcd服务器读取 vim /etc/sysconfig/flanneld
FLANNEL_ETCD= "http://192.168.127.2:2379" FLANNEL_ETCD_KEY= "/atomic.io/network"
# 启动flannel网络,如果之前已经启动了docker,需要先关闭docker systemctl enable flanneld
systemctl start flanneld # 配置 kube-apiserver vim /etc/kubernetes/apiserver
KUBE_API_ADDRESS= "--address=0.0.0.0"
KUBE_ETCD_SERVERS= "--etcd-servers=http://192.168.127.2:2379"
KUBE_SERVICE_ADDRESSES= "--service-cluster-ip-range=10.0.0.0/16"
KUBE_ADMISSION_CONTROL= "--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ResourceQuota"
# 由于是部署在内网,所以KUBE_ADMISSION_CONTROL中去掉了ServiceAccount的鉴权方式 # 接下来启动服务 systemctl enable kube-apiserver kube-controller-manager kube-scheduler
systemctl start kube-apiserver kube-controller-manager kube-scheduler |
第三台机器 k8s-node1,配置成为Kubelet节点
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
|
# 机器 k8s-node1,此台机器承担kubernetes节点服务,仅有一张网卡 # VM中私网网卡连接方式:仅主机模式,对应Centos系统中的网卡 eno16777736 # eno16777736网卡配置 TYPE= "Ethernet"
NAME= "eno16777736"
DEVICE= "eno16777736"
IPADDR= "192.168.127.3"
PERFIX= "24"
GATEWAY= "192.168.127.1"
DNS1= "192.168.205.12"
ONBOOT= "yes"
# 首先来配置flannel网络,使flannel网络配置从etcd服务器读取 vim /etc/sysconfig/flanneld
FLANNEL_ETCD= "http://192.168.127.2:2379" FLANNEL_ETCD_KEY= "/atomic.io/network"
#hostname 配置 hostnamectl set - hostname k8s-node1
#kubernetes config 文件配置 vim /etc/kubernetes/config
KUBE_MASTER= "--master=http://192.168.127.1:8080"
#kubernetes kubelet 文件配置 vim /etc/kubernetes/kubelet
KUBELET_ADDRESS= "--address=0.0.0.0"
KUBELET_HOSTNAME= "--hostname-override=k8s-node1"
KUBELET_API_SERVER= "--api-servers=http://192.168.127.1:8080"
#启动kubelet systemctl enable docker kubelet
systemctl start docker kubelet |
第四台机器 k8s-node2,配置成为Kubelet节点
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
|
# 机器 k8s-node2,此台机器承担kubernetes节点服务,仅有一张网卡 # VM中私网网卡连接方式:仅主机模式,对应Centos系统中的网卡 eno16777736 # eno16777736网卡配置 TYPE= "Ethernet"
NAME= "eno16777736"
DEVICE= "eno16777736"
IPADDR= "192.168.127.4"
PERFIX= "24"
GATEWAY= "192.168.127.1"
DNS1= "192.168.205.12"
ONBOOT= "yes"
# 首先来配置flannel网络,使flannel网络配置从etcd服务器读取 vim /etc/sysconfig/flanneld
FLANNEL_ETCD= "http://192.168.127.2:2379" FLANNEL_ETCD_KEY= "/atomic.io/network"
#hostname 配置 hostnamectl set - hostname k8s-node2
#kubernetes config 文件配置 vim /etc/kubernetes/config
KUBE_MASTER= "--master=http://192.168.127.1:8080"
#kubernetes kubelet 文件配置 vim /etc/kubernetes/kubelet
KUBELET_ADDRESS= "--address=0.0.0.0"
KUBELET_HOSTNAME= "--hostname-override=k8s-node2"
KUBELET_API_SERVER= "--api-servers=http://192.168.127.1:8080"
#启动kubelet systemctl enable docker kubelet
systemctl start docker kubelet |
验证节点是否可用,在k8s-master上执行命令
1
2
3
4
|
[root@k8s-master ~] # kubectl get node
NAME STATUS AGE k8s-node1 Ready 3h k8s-node2 Ready 3h |