文件名称：spark-flume-stream:一个简单的 spark 程序来处理 avro 事件的水槽流
文件大小：6KB
文件格式：ZIP
更新时间：2024-07-13 17:48:59
Java
火花水流 用于处理来自水槽代理的事件并将输出数据存储到文本文件的 Spark 流程序。 读取 csv 文件并将美国消费者投诉事件发送到本地设置的水槽代理。 spark 程序从水槽代理（作为 avro sink）获取事件，将事件转换为可处理的格式，维护每个产品和状态的事件计数的运行/滚动列表，并将运行计数附加到特定于产品和状态（对于每个 2 秒的流式批处理窗口）。 对于每个项目，请下载最新版本的 maven 以从命令行运行 mvn 命令，或者将其作为 maven 项目导入您的 IDE（前提是存在 maven 插件）。 如果您从命令行运行，请运行mvn clean install和mvn eclipse:eclipse ，然后在您的 IDE 中导入项目。 需要在本地机器上完成以下设置才能运行这些项目： 安装 Apache Flume - 安装 Spark - （对于 mac 用户，
【文件预览】：
spark-flume-stream-master
----src()
--------main()
----pom.xml(1KB)
----README.md(4KB)