windows kafka 环境搭建踩坑记

时间:2023-03-08 22:03:20
windows kafka 环境搭建踩坑记

版本介绍(64位):

Windows 10

JDK1.8.0_171

zookeeper-3.4.8/

kafka_2.11-0.10.0.1.tgz

点击链接进行下载

1. JDK安装和环境搭建

  自行百度。

2. zookeeper 安装和运行

a. 点击上方链接直接下载,或者有其他链接,下载此文件

windows kafka 环境搭建踩坑记

b. 下载至本地,并解压

windows kafka 环境搭建踩坑记

windows kafka 环境搭建踩坑记

windows kafka 环境搭建踩坑记

c. 更改配置文件

选择conf中的zoo_sample.cfg文件,改名为zoo.cfg,并更改配置文件内容.

windows kafka 环境搭建踩坑记

改名为

windows kafka 环境搭建踩坑记

更改配置文件内容,设置数据路径

windows kafka 环境搭建踩坑记

d.  配置环境变量:

ZOOKEEPER_HOME:D:\java\zookeeper-3.4.8

windows kafka 环境搭建踩坑记

windows kafka 环境搭建踩坑记

Path: %ZOOKEEPER_HOME%\bin

windows kafka 环境搭建踩坑记

d. 运行 zkServer

如果出现找不到命令的情况就使用管理员权限运行(因为我们没在用户环境变量里配置路径)

windows kafka 环境搭建踩坑记

此窗口不要关闭 !!! ,新建cmd,检查Zookeeper有没有真正运行成功。

使用命令 netstat -ano,zookeeper默认端口为2181,找到2181标识,即为运行成功,zkserver窗口仍不要关闭,供之后调试kafka使用。

windows kafka 环境搭建踩坑记

2. kafka安装测试

a. 点击版本介绍处链接,直接下载,或者其他链接下载下方内容

windows kafka 环境搭建踩坑记

windows kafka 环境搭建踩坑记

b. 解压问题

使用解压工具解压后,出现无法打开的现象,并没有预期的文件夹,涉及到*.gz格式文件解压问题

windows kafka 环境搭建踩坑记

使用7-Zip工具提取,具体参考: https://www.7-zip.org/,下载并直接安装便可

windows kafka 环境搭建踩坑记

安装完成后,使用7-Zip提取.gz文件,【右击文件】--》【7-Zip】--》【打开压缩包】

windows kafka 环境搭建踩坑记

【双击打开】--》【提取】--》【选择提取位置】--》【确定】,提取出文件夹

windows kafka 环境搭建踩坑记

windows kafka 环境搭建踩坑记

windows kafka 环境搭建踩坑记

c. 修改配置文件

log.dirs=D:\\java\\kafka_2.11-0.10.0.1\\kafka-logs

zookeeper.connect=localhost:2181

windows kafka 环境搭建踩坑记

windows kafka 环境搭建踩坑记

windows kafka 环境搭建踩坑记

d. 运行测试

1. 使用命令行工具,进入安装目录D:\java\kafka_2.11-0.10.0.1,执行以下命令

.\bin\windows\kafka-server-start.bat .\config\server.properties

windows kafka 环境搭建踩坑记

kafka默认实例工作在9092端口,创建了broker 0,并注册入zookeeper

windows kafka 环境搭建踩坑记

此窗口不要关闭!!!,作为 broker 服务

2. 创建主题

使用命令行工具,进入安装目录D:\java\kafka_2.11-0.10.0.1,执行以下命令,创建主题topic_test

.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic_test

windows kafka 环境搭建踩坑记

查看主题:

.\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181

windows kafka 环境搭建踩坑记

3. 创建生产者

使用命令行工具,进入安装目录D:\java\kafka_2.11-0.10.0.1,执行以下命令,不要关闭此窗口,进行信息生产

.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic topic_test

windows kafka 环境搭建踩坑记

4. 创建消费者

使用命令行工具,进入安装目录D:\java\kafka_2.11-0.10.0.1,执行以下命令,不要关闭窗口,等待生产者的消息

.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic topic_test --from-beginning --zookeeper 127.0.0.1:2181

windows kafka 环境搭建踩坑记

5. 生产消息,并查看消费:

在生产者窗口输入消息:hello

windows kafka 环境搭建踩坑记

在消费者窗口能够看到消息:hello

windows kafka 环境搭建踩坑记

6. 在zookeeper中查看kafka的注册信息

命令行执行 zkcli,打开zookeeper客户端,可以执行操作命令

windows kafka 环境搭建踩坑记

windows kafka 环境搭建踩坑记

查看kafka brokers,结果如下

windows kafka 环境搭建踩坑记

===========测试完毕===========