【文件属性】:
文件名称:KafkaStreamAgg:使用Flink和Redis对从Kafka读取的流执行实时聚合
文件大小:10KB
文件格式:ZIP
更新时间:2021-04-27 22:37:22
Java
KafkaStreamAgg
使用Flink和Redis对从Kafka读取的流执行实时聚合。 它当前在一个时间窗口(20s)内计算唯一性计数,并使用HLL(HyperLogLog)在多个时间间隔内发出近似的唯一性计数。
来源是Kafka主题,这些事件作为事件流被吸收
聚合引擎是Flink
计数存储在Redis中
近似计数由Redis公开的HLL方法提供
设置 :-
安装Kafka(kafka_2.11-1.0.0)
安装Redis(4.0.10)
启动zookeeper-> ./bin/zookeeper-server-start.sh ./config/zookeeper.properties
启动Kafka服务器-> ./bin/kafka-server-start.sh ./config/server.properties
创建一个Kafka主题-> bin / ka
【文件预览】:
KafkaStreamAgg-master
----.gitignore(308B)
----README.md(2KB)
----pom.xml(2KB)
----streaming.properties(69B)
----src()
--------main()