【文件属性】:
文件名称:spark-streaming-demo
文件大小:181KB
文件格式:ZIP
更新时间:2021-06-21 21:40:26
Scala
此演示处理 Meetup.com RSVP 流并将结果存储在 Cassandra 中。 此应用程序的主要目的是演示和 DSE 中的 Spark Streaming 功能。
它产生两种类型的结果:
每个国家/地区的与会者总数(自申请开始以来)。 每 5 秒刷新一次。 显示简单的流处理功能。
最近 5 分钟内的热门聚会主题。 每 10 秒刷新一次。 显示窗口转换功能。
包含 Web 仪表板以可视化这些结果:
实时 RSVP 流可通过。
流处理
在本地启动流处理:
git clone git@github.com:rstml/datastax-spark-streaming-demo.git
cd datastax-spark-streaming-demo
sbt assembly run
在 DSE 集群上部署 Spark 应用程序:
dse spark-submit --c
【文件预览】:
spark-streaming-demo-master
----readme.md(2KB)
----screenshot.png(146KB)
----src()
--------main()
----.gitignore(227B)
----web()
--------sbt(14KB)
--------src()
--------.gitignore(756B)
--------project()
--------README.md(195B)
----project()
--------assembly.sbt(58B)
--------StreamingDemoBuild.scala(5KB)
--------build.properties(19B)
----LICENSE.txt(11KB)