【文件属性】:
文件名称:kafka-spark:kafka+log4日志Stream对接sparkStream
文件大小:1.56MB
文件格式:ZIP
更新时间:2021-04-27 18:48:21
Java
Kafka version:0.10
Spark version:2.11
Elasticsearch version: 5.6.10
Fluentd version: 0.12
Kibana version: 5.6.10
Description:
Main Function:
1.kafka集成log4j2发送日志与sparkStream对接做日志准实时批处理
2.EFK日志收集
Design ideas:
1.App.simulationUserBehavior()模拟生成用户信息
2.SparkStreamingKafka.reveiveKafkaStream() 流计算结果放入本地缓存
3.AjaxController.getData()对外提供查询接口
Echart-ui:
Function:Show quasi-real
【文件预览】:
kafka-spark-master
----fluentd()
--------conf()
--------Dockerfile(132B)
----src()
--------test()
--------main()
----images()
--------Docker_memery_fix.png(147KB)
--------kafka_spark_ui.png(444KB)
--------Kibana_init.png(338KB)
--------Kibana.png(878KB)
----Dockerfile(227B)
----README.md(2KB)
----pom.xml(9KB)
----docker-compose.yml(2KB)