Kafka集群搭建和配置

时间:2023-03-09 15:24:43
Kafka集群搭建和配置

Kafka配置优化

https://www.jianshu.com/p/f62099d174d9

1.安装&配置

下载tar包

Kafka集群搭建和配置

解压后即可使用

Kafka集群搭建和配置

修改配置文件

将server.properties复制和修改为三个配置文件(为启动3个kafka服务做准备)

Kafka集群搭建和配置

设置broker.id,集群中各节点的标识,要求不重复

Kafka集群搭建和配置

绑定端口和ip

Kafka集群搭建和配置

设置日志文件(数据文件)存放位置

Kafka集群搭建和配置

设置zk地址和连接超时时间(为方便演示,使用kafka自带的zk)

Kafka集群搭建和配置

另外两个配置文件参考以上配置,并设置端口为9092,,9094

2.自动zk

kafka集群的高可用依赖zk,启动kafka之前要先启动zk(生产环境应使用独立的zk集群)

为方便查看日志,这里使用前台启动方式,生产环境应使用daemon方式

Kafka集群搭建和配置

Kafka集群搭建和配置

3.启动kafka集群

kafka集群是去中心化的,所以无需关注集群中各服务的启动书序

Kafka集群搭建和配置

同样的,为了方便查看日志,测试时使用前台启动方式

Kafka集群搭建和配置

启动另外两个kafka broker服务,可以看到kafka集群和zk都已启动

Kafka集群搭建和配置

4.通过kafka自带的console producer和consumer测试订阅和发布

创建一个topic(新版本的kafka,offset存放在topic中)

Kafka集群搭建和配置

启动console producer,kafka是去中心化的,连接集群中任何一个节点都可以进行消息发布,kafka会在内部进行同步

Kafka集群搭建和配置

启动console consumer

Kafka集群搭建和配置

在producer窗口发布消息

Kafka集群搭建和配置

consumer成功消费到了消息

Kafka集群搭建和配置