PyFlink 词频统计完整代码

时间:2022-02-21 13:56:52
【文件属性】:
文件名称:PyFlink 词频统计完整代码
文件大小:4KB
文件格式:ZIP
更新时间:2022-02-21 13:56:52
PyFlink 实时大数据 该实例的处理过程是通过 Flink 对文件存储系统里的数据进行离线批处理,统计指定文件下的单词数,并将统计结果存储到其他文件下。 该实例业务实现过程如下: - 首先使用 `filesystem` 作为连接器,按照指定的 `csv` 格式来批量地读取指定路径的文件或文件夹,以此创建源数据表。 - 然后,在 Flink 中执行批处理实例逻辑,完成批处理任务。 - 最后,使用 `filesystem` 连接器,将处理后结果写入目标文件或文件夹内,构建结果表。
【文件预览】:
WordCount
----res()
--------part-9b773ec9-0eef-488d-a68f-14a6a4565ee7-0-0(633B)
----word.csv(43B)
----wordCount_SQL.py(4KB)
----wordCount_tableAPI.py(5KB)

网友评论