FlinkParquet:使用Parquet文件格式(使用Avro)通过Apache Flink处理数据

时间:2021-05-15 17:25:54
【文件属性】:
文件名称:FlinkParquet:使用Parquet文件格式(使用Avro)通过Apache Flink处理数据
文件大小:11.72MB
文件格式:ZIP
更新时间:2021-05-15 17:25:54
Java 使用Apache Flink处理Apache Parquet文件 此仓库包含用于设置Flink数据流以处理Parquet文件的示例代码。 resources/下的CSV数据集是从下载的Restaurant Score数据集。 有关更多信息,请参见。 ###生成Avro模型类 如果对resources/下的Avro模式文件( *.avsc )进行了任何更改,则应重新生成模型类 ./compile_schemas.sh ###步骤1:将CSV数据文件转换为木地板格式 以下命令将resources/下的CSV文件转换为Parquet格式并将其写入/tmp/business , /tmp/violations和/tmp/inspections目录。 mvn clean package exec:java -Dexec.mainClass="yigitbasi.nezih.ConvertTo
【文件预览】:
FlinkParquet-master
----src()
--------main()
----tools()
--------avro-tools-1.7.7.jar(11.95MB)
----compile_schemas.sh(112B)
----README.md(1KB)
----pom.xml(3KB)
----.gitignore(20B)

网友评论