Centos7 安装kafka+zookeeper实践

时间:2023-02-24 11:16:35

一、概述

最近有项目要测试kafka连接可用性,本地搭建模拟环境测试一下,本文作为一个记录。

二、部署

2.1 环境准备

本次采用Centos7.9安装,因为kafka和zookeeper都需要用到jdk,这次安装的使用oracle jdk8 https://www.oracle.com/java/technologies/javase/javase8u211-later-archive-downloads.html Centos7 安装kafka+zookeeper实践 在服务器上下载jdk软件包 Centos7 安装kafka+zookeeper实践 在服务器上安装jdk软件包 检查java的环境变量是否生效 Centos7 安装kafka+zookeeper实践

2.2 准备应用软件包

kafka下载链接当前版本3.4.0: https://downloads.apache.org/kafka/3.4.0/kafka_2.13-3.4.0.tgz, zookeeper下载链接当前版本3.8.1: https://dlcdn.apache.org/zookeeper/zookeeper-3.8.1/apache-zookeeper-3.8.1-bin.tar.gz

准备好软件包 Centos7 安装kafka+zookeeper实践

2.3 部署软件包

2.3.1 部署zookeeper

解压zookeeper软件包至/opt/soft下,并配置软链接

mkdir /opt/soft
tar -xf apache-zookeeper-3.8.1-bin.tar.gz -C /opt/soft
cd /opt/soft
ln -sv apache-zookeeper-3.8.1-bin zookeeper

更改属主属组 Centos7 安装kafka+zookeeper实践

复制模板配置文件,创建数据目录

cp /opt/soft/zookeeper/conf/zoo_sample.cfg /opt/soft/zookeeper/conf/zoo.cfg
mkdir /opt/soft/zookeeper/data

Centos7 安装kafka+zookeeper实践

更改/opt/soft/zookeeper/conf/zoo.cfg,更改数据目录为data

Centos7 安装kafka+zookeeper实践

启动zookeeper服务,并确定监听。

 /opt/soft/zookeeper/bin/zkServer.sh start

Centos7 安装kafka+zookeeper实践 至此zookeeper的基础配置已经完成,当然还有很多高级特性,这里就不去扩展了。

2.3.2 部署kafka

解压kafka程序至/opt/soft,并创建软链接

tar -xf kafka_2.13-3.4.0.tgz -C /opt/soft/
ln -sv kafka_2.13-3.4.0 kafka

Centos7 安装kafka+zookeeper实践

编辑配置文件/opt/soft/kafka/config/server.properties

Centos7 安装kafka+zookeeper实践

Centos7 安装kafka+zookeeper实践

启动kafka服务

cd /opt/soft/kafka/
./bin/kafka-server-start.sh -daemon config/server.properties

查看监听服务 Centos7 安装kafka+zookeeper实践

2.4 服务验证

创建topic主题

./bin/kafka-topics.sh --create  --replication-factor 1 --partitions 2 \
--topic test2023 --bootstrap-server 10.126.38.160:9092

Centos7 安装kafka+zookeeper实践

使用kafka自带脚本生产者连接

./bin/kafka-console-producer.sh --bootstrap-server 10.126.38.160:9092 --topic test2023

Centos7 安装kafka+zookeeper实践

使用kafka自带脚本消费者连接

./bin/kafka-console-consumer.sh --bootstrap-server 10.126.38.160:9092 --topic test2023

Centos7 安装kafka+zookeeper实践

三、总结

通过两个组件的安装,已经可以完成基础的消息服务使用,更多的配置可以参考其他的文档。