apache-beam-data-flow-tutorial:apache光束数据流教程

时间:2024-03-10 03:37:02
【文件属性】:

文件名称:apache-beam-data-flow-tutorial:apache光束数据流教程

文件大小:21KB

文件格式:ZIP

更新时间:2024-03-10 03:37:02

Python

apache-beam-data-flow-tutorial Apache Beam数据流教程 Apache Beam SDK入门 管道 处理タスク全体(パイプライン)をカプセル化します。处理タスクには,入力データの読み取り,変换处理,および出力データの书き込み等が含まれます。 P系列 通常は,外部のデータソースからデータを読み取り,PCollectionを作成しますが,インメモリから作成することも可能です。 变形 すべての变换は,1つ以上のPCollectionを入力として受け取り,そのPCollectionの要素に対して何らかの处理を実行して,0个以上のPCollectionを出力します。 I / O转换 様々な外部ストGージシステム(GCSやBigQueryなど)に対してデータの読み书きができる机能(读/写转换)を提供をいます。


【文件预览】:
apache-beam-data-flow-tutorial-master
----dofn_sample1.py(1KB)
----sub_inputs_sample.py(3KB)
----add_hoge_pipeline.py(3KB)
----Pipfile.lock(29KB)
----pipeline.py(3KB)
----legt_join.py(1KB)
----README.md(1KB)
----Pipfile(185B)
----parallel_pipeline.py(3KB)
----input.txt(15B)
----output.txt-00000-of-00001(15B)
----output.txt(6B)
----.gitignore(2KB)

网友评论