k8s HA 高可用集群之etcd集群

时间:2022-12-22 18:29:43

Etcd集群简介

etcd组件作为一个高可用强一致性的服务发现存储仓库。我们此次在三个主机上搭建了一个包含三个Etcd节点的集群,实现了集群的动态扩展和收缩,并测试和验证了Etcd集群键——值存储的一致性和高可用性。


一、环境准备

OS: Ubuntu 14.04

user: root

ipaddress: etcd01: 192.168.200.24

etcd02: 192.168.200.25

etcd03: 192.168.200.26

下载etcd 源码包:https://github.com/coreos/etcd/releases/

这里用的是etcd-v2.3.7-linux-amd64.tar.gz


二、安装配置etcd

etcd01上安装

tar xf etcd-v2.3.7-linux-amd64.tar.gz

cd etcd-v2.3.7-linux-amd64

cp etcd* /usr/local/bin/

创建etcd01脚本,可方便配置etcd启动参数


#cat etcd01


/usr/local/bin/etcd  -name etcd01 \

-data-dir /data/etcd01 \

-advertise-client-urls http://192.168.200.24:2379,http://192.168.200.24:4001  \

-listen-client-urls  http://0.0.0.0:2379,http://192.168.200.24:4001 \

-initial-advertise-peer-urls http://192.168.200.24:2380\

-listen-peer-urls http://0.0.0.0:2380 \

-initial-cluster-token etcd-cluster-1 \

-initial-cluster etcd01=http://192.168.200.24:2380,etcd02=http://192.168.200.25:2380,etcd03=http://192.168.200.26:2380 \

-initial-cluster-state new


参数说明:-name 指定名字

-data-dir 指定数据保存目录,默认是当前目录

-initial-cluster-state 集群状态 new为新创建集群 existing为已存在(可不指定)

在etcd02 etcd03上分别做相似操作

脚本中-advertise-client-urls 和 -initial-advertis-peer-urls 参数修改一下即可

然后分别运行脚本:nohup ./etcd01 &


三、测试

在任一台主机上执行etcdctl member list

#etcdctl member list

6a223770249e927d: name=etcd02 peerURLs=http://192.168.200.25:2380 clientURLs=http://192.168.200.25:2379,http://192.168.200.25:4001 isLeader=false

7e0ce16121dfea24: name=etcd01 peerURLs=http://192.168.200.24:2380 clientURLs=http://192.168.200.24:2379,http://192.168.200.24:4001 isLeader=true

bfc28be8765b503e: name=etcd03 peerURLs=http://192.168.200.26:2380 clientURLs=http://192.168.200.26:2379,http://192.168.200.26:4001 isLeader=false

可以看到集群的节点情况,并能看出哪个是leader节点

我们在etcd01上设置一个key/value

root@etcd1:~# etcdctl set api_server http://192.168.5.44:8080

http://192.168.5.44:8080

这时就可以在任意一台主机上获取这个key/value

root@etcd2:~# etcdctl get api_server

http://192.168.5.44:8080


root@etcd3:~# etcdctl get api_server

http://192.168.5.44:8080

在member list上看到etcd01是leader ,这时把etcd01停掉(kill)

用etcdctl cluster-health查看

root@etcd2:~# etcdctl cluster-health

member 6a223770249e927d is healthy: got healthy result from http://192.168.200.25:2379

failed to check the health of member 7e0ce16121dfea24 on http://192.168.200.24:2379: Get http://192.168.200.24:2379/health: dial tcp 192.168.200.24:2379: getsockopt: connection refused

failed to check the health of member 7e0ce16121dfea24 on http://192.168.200.24:4001: Get http://192.168.200.24:4001/health: dial tcp 192.168.200.24:4001: getsockopt: connection refused

member 7e0ce16121dfea24 is unreachable: [http://192.168.200.24:2379 http://192.168.200.24:4001] are all unreachable

member bfc28be8765b503e is healthy: got healthy result from http://192.168.200.26:2379

cluster is healthy

并且集群leader进行了重新选举

root@etcd2:~# etcdctl member list

6a223770249e927d: name=etcd02 peerURLs=http://192.168.200.25:2380 clientURLs=http://192.168.200.25:2379,http://192.168.200.25:4001 isLeader=true

7e0ce16121dfea24: name=etcd01 peerURLs=http://192.168.200.24:2380 clientURLs=http://192.168.200.24:2379,http://192.168.200.24:4001 isLeader=false

bfc28be8765b503e: name=etcd03 peerURLs=http://192.168.200.26:2380 clientURLs=http://192.168.200.26:2379,http://192.168.200.26:4001 isLeader=false

现在etcd02是leader了,这时我们在群集中设置两个key/value

root@etcd2:~# etcdctl set test01 123456

123456

root@etcd2:~# etcdctl set test02 abcdefg

abcdefg

重新启动etcd01

root@etcd1:~# etcdctl cluster-health

member 6a223770249e927d is healthy: got healthy result from http://192.168.200.25:2379

member 7e0ce16121dfea24 is healthy: got healthy result from http://192.168.200.24:2379

member bfc28be8765b503e is healthy: got healthy result from http://192.168.200.26:2379

cluster is healthy

root@etcd1:~# etcdctl get test01

123456

root@etcd1:~# etcdctl get test02

abcdefg

但这时在etcd01重新加入集群,并保持了key/value的全局一致性,由此可见 etcd 搭建的集群是可以实现高可用的。


Etcd集群的扩展与收缩

etcd集群如果收缩很简单,直接在命令行输入

etcdctl member remove {$memberID}

$memberID是你即将要删除节点的etcd的ID,etcd的扩展有一些地方需要注意一下,我在这里操作的时候遇到了不少坑。从上文写到现在,有一个文件夹很重要,几乎每个坑都与它有关,那就是-data-dir所声明的文件夹,注意要扩展一个etcd集群时,首先在集群内的任一台机器上输入

etcdctl member add $etcd_name$peer_url

$etcd_name:新加入的etcd节点的名字 
$peer_url:一般为新加入的节点 IP:2380