【文件属性】:
文件名称:streaming-online-analytics-demo:使用Kafka的Dockerized Spark流
文件大小:143KB
文件格式:ZIP
更新时间:2021-05-26 20:53:34
docker webservice kafka analytics camel
Spark Online Analytics商店演示
该应用程序演示了如何使用Spark结构化流处理来自kafka主题的订单。 可以将订单存储在HDFS中,然后在实时流式传输数据时通过Spark SQL临时查询。
先决条件
环境:
卡夫卡
动物园管理员
码头工人
OpenShift v3或更高版本
卡桑德拉
建立和运行
make build
网址:
Camel Order WebService:`
卡夫卡(Kafka)URL: http://localhost:9092
SparkMaster: http://localhost:8081
SparkWorker1: http://localhost:8082
Minio S3 Storage Alternative: http://localhost:9000/minio/docker/注:检查s3storage日志中的acc