apache-beam-data-flow-tutorial:apache光束数据流教程

时间:2021-02-18 09:50:22
【文件属性】:
文件名称:apache-beam-data-flow-tutorial:apache光束数据流教程
文件大小:21KB
文件格式:ZIP
更新时间:2021-02-18 09:50:22
Python apache-beam-data-flow-tutorial Apache Beam数据流教程 Apache Beam SDK入门 管道 处理タスク全体(パイプライン)をカプセル化します。处理タスクには,入力データの読み取り,変换处理,および出力データの书き込み等が含まれます。 P系列 通常は,外部のデータソースからデータを読み取り,PCollectionを作成しますが,インメモリから作成することも可能です。 变形 すべての变换は,1つ以上のPCollectionを入力として受け取り,そのPCollectionの要素に対して何らかの处理を実行して,0个以上のPCollectionを出力します。 I / O转换 様々な外部ストGージシステム(GCSやBigQueryなど)に対してデータの読み书きができる机能(读/写转换)を提供をいます。
【文件预览】:
apache-beam-data-flow-tutorial-master
----dofn_sample1.py(1KB)
----sub_inputs_sample.py(3KB)
----add_hoge_pipeline.py(3KB)
----Pipfile.lock(29KB)
----pipeline.py(3KB)
----legt_join.py(1KB)
----README.md(1KB)
----Pipfile(185B)
----parallel_pipeline.py(3KB)
----input.txt(15B)
----output.txt-00000-of-00001(15B)
----output.txt(6B)
----.gitignore(2KB)

网友评论