Storm 从入门到精通 第三讲 Storm环境搭建 - Zookeeper 安装

时间:2023-01-25 20:46:46
介绍Zookeeper的安装部署。安装部署分三种模式:单机模式、伪分布式模式和分布式模式。单机模式和为分布式比较简单,多用于本地测试调试,下面介绍分布式模式安装部署。

注意:3台机器都需要安装zk。对于Zookeeper集群的话,官方推荐的最小节点数为3个。

1. 环境信息

Storm 从入门到精通 第三讲 Storm环境搭建 - Zookeeper 安装

2. 安装jdk1.7

3台机器都需要安装jdk1.7

[root@log1 local]# mkdir /usr/java
[root@log1 local]# tar zxf jdk-7u80-linux-x64.gz -C /usr/java/
[root@log1 local]# vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.7.0_80
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
[root@log1 local]# source /etc/profile

3. 安装配置zk
(1)配置zk节点的hosts文件:配置3台机器的ip地址和主机名的对应关系。以下以console主机为例,其hosts文件添加下面3行:
114.55.29.246 console
114.55.29.86 log1
114.55.29.241 log2
(2)解压安装配置第一台zk
[root@console local]# tar zxf zookeeper-3.4.6.tar.gz
[root@console local]# cd zookeeper-3.4.6
创建快照日志存放目录:
[root@console zookeeper-3.4.6]# mkdir -p dataDir 
创建事务日志存放目录:
[root@console zookeeper-3.4.6]# mkdir dataLogDir

【注意】:如果不配置dataLogDir,那么事务日志也会写在dataDir目录中。这样会严重影响zk的性能。因为在zk吞吐量很高的时候,产生的事务日志和快照日志太多。

修改配置文件,添加如下内容:
[root@console zookeeper-3.4.6]# cd conf 
[root@console conf]# mv zoo_sample.cfg zoo.cfg 
[root@console conf]# vim zoo.cfg
# 存放数据文件
dataDir=/usr/local/zookeeper-3.4.6/dataDir
# 存放日志文件
dataLogDir=/usr/local/zookeeper-3.4.6/dataLogDir
# zookeeper cluster,2888为选举端口,3888为心跳端口
server.1=console:2888:3888
server.2=log1:2888:3888
server.3=log2:2888:3888
在我们配置的dataDir指定的目录下面,创建一个myid文件,里面内容为一个数字,用来标识当前主机,conf/zoo.cfg文件中配置的server.X中X为什么数字,则myid文件中就输入这个数字:

[root@console ~]# echo "1" > /usr/local/zookeeper-3.4.6/dataDir/myid

(3)远程复制第一台的zk到另外两台上,并修改myid文件为2和3

[root@console local]# scp -rp zookeeper-3.4.6 root@114.55.29.86:/usr/local/
[root@console local]# scp -rp zookeeper-3.4.6 root@114.55.29.241:/usr/local/
4. 启动和关闭zk
在ZooKeeper集群的每个结点上,执行启动ZooKeeper服务的脚本,如下所示:
[root@console bin]# ./zkServer.sh start 
[root@log1 bin]# ./zkServer.sh start
[root@log2 bin]# ./zkServer.sh start
日志可查询:/usr/local/zookeeper-3.4.6/bin/zookeeper.out

可以通过命令jps查看Zookeeper进程:

Storm 从入门到精通 第三讲 Storm环境搭建 - Zookeeper 安装
停止zk命令:

# /usr/local/zookeeper-3.4.6/bin/zkServer.sh stop

5. 测试zk集群
可以通过ZooKeeper的脚本来查看启动状态,包括集群中各个结点的角色(或是Leader,或是Follower)
[root@console bin]# ./zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower
[root@log1 bin]# ./zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: leader
[root@log2 bin]# ./zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower
通过上面状态查询结果可见,log1是集群的Leader,其余的两个结点是Follower。
另外,可以通过客户端脚本,连接到ZooKeeper集群上。对于客户端来说,ZooKeeper是一个整体,连接到ZooKeeper集群实际上感觉在独享整个集群的服务,所以,你可以在任何一个结点上建立到服务集群的连接。

6. 脚本定期清理zk快照和日志文件

正常运行过程中,ZK会不断地把快照数据和事务日志输出到dataDir和dataLogDir这两个目录,并且如果没有人为操作的话,ZK自己是不会清理这些文件的。 我这里采用脚本切割。
[root@log1 ~]# cd /usr/local/zookeeper-3.4.6/
[root@log1 zookeeper-3.4.6]# vim clean_zklog.sh
#!/bin/bash
###Description:This script is used to clear zookeeper snapshot file and transaction logs.
###Written by: jkzhao - jkzhao@wisedu.com  
###History: 2016-04-08 First release.

# Snapshot file dir.
dataDir=/usr/local/zookeeper-3.4.6/dataDir/version-2

# Transaction logs dir.
dataLogDir=/usr/local/zookeeper-3.4.6/dataLogDir/version-2

# Reserved 5 files.
COUNT=5

ls -t $dataDir/snapshot.* | tail -n +$[$COUNT+1] | xargs rm -f
ls -t $dataLogDir/log.* | tail -n +$[$COUNT+1] | xargs rm -f

[root@log1 zookeeper-3.4.6]# chmod +x clean_zklog.sh
脚本切割zookeeper日志

每个Zookeeper集群节点配置周期性任务,每个星期日的0点0分执行:
[root@console zookeeper-3.4.6]# crontab -e
0 0 * * 0 /usr/local/zookeeper-3.4.6/clean_zklog.sh