文件名称:datapipeline:数据管道
文件大小:11KB
文件格式:ZIP
更新时间:2024-06-03 03:32:29
Java
使用Apache Beam,BigQuery和Datalab的数据管道 概述 批处理数据源(Database,s3,HDFS)------> DataFlow ----> ETL ------>(数据接收器,例如BigQuery,Database,GCS,s3) 流数据源(移动,Web等)------> PubSub ------> DataFlow ----> ETL --->(数据接收器,例如BigQuery,Database,GCS,s3) 先决条件 Google Project with Billing
【文件预览】:
datapipeline-pub
----src()
--------main()
----.idea()
--------misc.xml(513B)
--------compiler.xml(529B)
--------workspace.xml(19KB)
--------vcs.xml(180B)
----README.md(510B)
----pom.xml(15KB)
----.gitignore(50B)