【文件属性】:
文件名称:物业交易
文件大小:2KB
文件格式:ZIP
更新时间:2024-03-09 01:19:07
Python
物业交易数据转换。
如设计文档中所述,此过程包含三个主要模块-提取,转换和加载。 我将在这些模块中的代码中拆分功能。
提取-file_validation
转换-file_key_generation,append_prop_key
加载-create_JSON,get_nested_rec
在GCP中,使用Apache Beam在Dataflow中创建无服务器数据转换管道。 Apache Beam能够进行批处理和流处理,数据处理被编写为管道。 因此,我们可以使用ApacheBeam分三个步骤在Dataflow中创建管道-Extract,Transform和Load,然后将其作为管道执行以生成输出。
这些现有的代码将不会在Apache Beam或数据流中运行,而需要使用Apache Beam步骤进行更新,这使这个pyhton程序无法完全覆盖到管道中。
要使此脚本在云上运行,需
【文件预览】:
PropertyTransactions-main
----ReadFile.py(3KB)
----readme.md(1KB)