datapipeline:数据管道

时间:2024-06-03 03:32:29
【文件属性】:

文件名称:datapipeline:数据管道

文件大小:11KB

文件格式:ZIP

更新时间:2024-06-03 03:32:29

Java

使用Apache Beam,BigQuery和Datalab的数据管道 概述 批处理数据源(Database,s3,HDFS)------> DataFlow ----> ETL ------>(数据接收器,例如BigQuery,Database,GCS,s3) 流数据源(移动,Web等)------> PubSub ------> DataFlow ----> ETL --->(数据接收器,例如BigQuery,Database,GCS,s3) 先决条件 Google Project with Billing


【文件预览】:
datapipeline-pub
----src()
--------main()
----.idea()
--------misc.xml(513B)
--------compiler.xml(529B)
--------workspace.xml(19KB)
--------vcs.xml(180B)
----README.md(510B)
----pom.xml(15KB)
----.gitignore(50B)

网友评论