ZooKeeper系列(4):ZooKeeper的配置文件详解

时间:2022-06-23 02:57:50

ZooKeeper系列文章:https://www.cnblogs.com/f-ck-need-u/p/7576137.html#zk


zkServer.sh读取的默认配置文件是$ZOOKEEPER_HOME/conf/zoo.cfg。如果要用其它配置文件。如下传递配置文件参数:

zkServer.sh start  your_config
zkServer.sh stop your_config
zkServer.sh status your_config

配置文件的官方说明:http://zookeeper.apache.org/doc/r3.4.12/zookeeperAdmin.html#sc_configuration

以下是ZooKeeper的配置文件中各配置项的解释,分两部分:一部分是ZooKeeper正常运行所必须的配置项(只有3项),一部分是非必须项。

1.必须配置项

下面3项是ZooKeeper正常运行所必须配置的。

  • clientPort

    向外提供服务的端口号。换句话说,是给客户端连接的端口。

  • dataDir

    ZooKeeper的数据目录,主要目的是存储内存数据库序列化后的快照路径。如果没有配置事务日志(即dataLogDir配置项)的路径,那么ZooKeeper的事务日志也存放在数据目录中。

  • tickTime

    tick的中文意思是"嘀的一声",tickTime指的是滴答一声的时间长度。在ZooKeeper中,它是所有涉及到时间长度的单元,单位为毫秒,就相当于时钟里的秒单元一样。例如,tickTime=2000;initLimit=5,表示initLimit的时间为"嘀嗒"5次,长度为2000*5=10秒。tickTime隐含了心跳时间(即心跳时间为tickTime),还隐含了客户端和服务器之间保持的会话的最小和最大超时时间(最小2倍tickTime,最大20倍tickTime)。

2.其它配置项

2.1 一般选项

  • dataLogDir

    指定事务日志的存放目录。事务日志对ZooKeeper的影响非常大,强烈建议事务日志目录和数据目录分开,不要将事务日志记录在数据目录(主要用来存放内存数据库快照)下。

  • globalOutstandingLimit

    接收客户端的最大请求队列。默认是1000。为了提高ZooKeeper的吞吐量,即使ZooKeeper已经没有空闲资源来处理新的客户端请求,也还是会接收进来。这个配置项是为了限流,避免内存溢出。

  • preAllocSize

    为事务日志预先开辟磁盘空间。默认是64M,意味着每个事务日志大小就是64M(可以去事务日志目录中看一下,每个事务日志只要被创建出来,就是64M)。如果ZooKeeper产生快照频率较大,可以考虑减小这个参数,因为每次快照后都会切换到新的事务日志,但前面的64M根本就没写完。(见snapCount配置项)

  • snapCount

    ZooKeeper使用事务日志和快照来持久化每个事务(注意是日志先写)。该配置项指定ZooKeeper在将内存数据库序列化为快照之前,需要先写多少次事务日志。也就是说,每写几次事务日志,就快照一次。默认值为100000。为了防止所有的ZooKeeper服务器节点同时生成快照(一般情况下,所有实例的配置文件是完全相同的),当某节点的先写事务数量在(snapCount/2+1,snapCount)范围内时(挑选一个随机值),这个值就是该节点拍快照的时机。

  • maxClientCnxns

    在套接字级别上限制同一客户端的并发连接数。因为同一客户端IP地址相同,可能会调度到同一个ZooKeeper服务器节点上。这个配置项是为了避免DoS攻击。默认值为60,设置为0表示不做任何限制。

  • clientPortAddress

    指定为客户端提供服务的监听地址(ipv4/ipv6)。换句话说,clientPort将只绑定在地址上。如果不设置该选项,将默认监听在所有地址上(0.0.0.0)。

  • minSessionTimeout

  • maxSessionTimeout

    客户端和服务端会话保持的最小、最大超时时间。ZooKeeper的很多数据和状态都和会话绑定。假如客户端和服务端成功建立连接(会话)后,正常情况下,客户端会时不时地向服务端发送心跳,如果这个服务端或者客户端挂了,它们之间的会话要保持多长时间。

  • fsync.warningthresholdms

    事务日志输出时,如果调用fsync方法超过此处指定的超时时间,那么会在日志中输出警告信息。默认是1000ms。

  • autopurge.snapRetainCount

    该配置项指定开启了ZooKeeper的自动清理功能后(见下一个配置项),每次自动清理时要保留的版本数量。默认值为3,最小值也为3。它表示在自动清理时,会保留最近3个快照以及这3个快照对应的事务日志。其它的所有快照和日志都清理。

  • autopurge.purgeInterval

    指定触发自动清理功能的时间间隔,单位为小时,值为大于或等于1的整数,默认值为0,表示不开启自动清理功能。

  • syncEnabled

    指定观察者(observers)是否像follower一样,也记录事务日志和快照,以便在observers重启时能加速恢复。默认值为true,设置为false表示禁用该功能,不记录日志和快照。

2.2 集群选项

在配置ZooKeeper集群时可能用到的配置项。

  • electionAlg

    指定leader选举算法。默认值为3,表示使用基于TCP的快速选举。在以前的版本中,还有0/1/2三种算法,它们都是基于UDP的,已经废弃了,以后的版本中会移除这三种算法。

  • initLimit

    followers启动时需要连接leader,并从Leader处获取它所缺失的那部分数据,以便它能和leader的数据保持同步。只有保持了同步,该follower才被标记为ONLINE,然后才能提供服务。这个配置项限定从follower启动到恢复完成的超时时间。一般情况下,ZooKeeper保存的都是协调数据,数据量不会很大,但如果要同步的数据很大,可以考虑增大这个选项的值。注意,这个值依赖于tickTime时间单元,例如tickTime=2000,initLimit=2表示4秒。

  • syncLimit

    follower和leader之间数据延迟的最大时间长度。例如,有个节点的更新操作缓慢,它的数据已经严重落后于leader,ZooKeeper就会将它从ZooKeeper集群中踢出去。ZooKeeper使用时间来度量follower和leader之间数据的延迟,这个选项的值依赖于tickTime,例如tickTime=2000,syncLimit=2表示follower比leader延迟了4秒。

  • leaderServes

    默认值为yes,表示leader也接受客户端的连接,接受来自客户端的读、写请求。leader的主要作用是协调ZooKeeper集群服务器节点间的写操作,如果想要获取更高的写吞吐量,可以将其设置为no,这样leader将不允许客户端的连接,它将专注于协调,但这会损失一点读吞吐量。

  • server.x=[hostname]:port_A:port_B

    指定ZooKeeper集群中的服务器节点。有几个server节点,就给几个这个配置项,所有节点上的这部分配置要一致。

    • X:整数。是ZooKeeper中服务器的一个简单标识。这个数值需要和dataDir下的myid文件内容一致。在启动ZooKeeper集群中的每个实例时,需要读取dataDir中的myid文件,并将该文件中的数值和配置文件中的server.X做匹配,匹配到哪个就表示是哪个ZooKeeper服务器节点。
    • hostname:ZooKeeper服务器节点的地址。
    • port_A:这是第一个端口,用于Follower和Leader之间的数据同步和其它通信。
    • port_B:这是第二个端口,用于Leader选举过程中投票通信。

    如果要配置的ZooKeeper的伪集群(多个ZooKeeper实例运行在同一机器上),每个server.X中的X、port_A和port_B必须不能相同。

    例如,3个服务器节点的伪集群ZooKeeper,数据目录分别为/zk/data1,/zk/data2,/zk/data3。可以这样配置。

server.1=localhost:2881:3881
server.2=localhost:2882:3882
server.3=localhost:2883:3883

然后在data1/myid、data2/myid、data3/myid中分别写入1、2、3(需要和X值对应)。

  • group.x=A[:B]
  • weight.y=N

    这两个一起用,用于启用分层仲裁功能。group命令用于将ZooKeeper集群中的服务器节点进行分组。如果没有使用group选项,则ZooKeeper默认将所有服务器节点归入一个默认组中。weight命令用于为每个服务器节点指定权重值,权重越高,投票时能投的票数越多。如果不配置weight命令,则所有节点的默认权重值为1。
    • x:分组id。整数值。
    • A:B:C...:用冒号分隔的服务器节点列表,表示这几个节点属于同一个组。整数值,取自server.X中的X。例如,上面server.x中的示例,group.1=1:2:3表示将这3个节点放进一个id=1的组中。
    • y:取自server.X中的X。
    • N:为该服务器节点指定的权重值。

      例如,9个节点的ZooKeeper集群,分成3组:
server.1=aaaa
server.2=aaaa
server.3=aaaa
server.4=aaaa
server.5=aaaa
server.6=aaaa
server.7=aaaa
server.8=aaaa
server.9=aaaa
 
group.1=1:2:3
group.2=4:5:6
group.3=7:8:9
 
weight.1=1
weight.2=1
weight.3=1
weight.4=1
weight.5=1
weight.6=1
weight.7=1
weight.8=1
weight.9=1

当需要仲裁时,首先过滤掉权重值为0的组(即组中所有节点权重都为0),然后判断,如果组中有大多数节点投票的组达到了大多数组的要求,仲裁就通过。换个理解方式,就是先在组内投票,然后组自身投票。组内投票数达到了该组的大多数,这个组就有一票。如果投票的组数量达到了总组数的大多数(不考虑权重为0的组),则整个仲裁就通过。

  • cnxTimeout

    在投票选举新的leader时,需要通过选举端口建立连接来发送通知信息。该配置项设置打开这个连接的超时时长。默认值为5。

  • ipReachableTimeout

    3.4.11版本中才引入的配置项。当解析主机名时,为可访问的IP地址设置此超时值,单位毫秒。默认情况下,ZooKeeper将使用主机名的第一个IP地址(不做任何reachable检查)。设置ipReachableTimeout(大于0)后,ZooKeeper将尝试获取第一个可访问的IP地址。这是通过调用Java API函数InetAddress.isreavailable(long timeout)实现的。其中使用了这个超时值。如果找不到这样的IP地址,主机名的第一个IP地址将被使用。

2.3 其它配置项

还有一些配置项,用到的可能性很小,所以不解释了。如有需要,参考官方手册:http://zookeeper.apache.org/doc/r3.4.12/zookeeperAdmin.html#sc_configuration。