文件名称：gcp_beam_pubsub_bigquery：GCP数据流项目，使用pubsub事件，处理数据，将数据保存到大查询并执行流分析
文件大小：12KB
文件格式：ZIP
更新时间：2024-03-16 22:10:49
Python
具有数据流的GCP-PubSub-BigQuery 描述 此Python项目在Google Cloud Platform（GCP）上设置了以下工作组件 将消息名称，操作和created_at时间戳发布到GCP主题 从主题的订阅中订阅消息并打印出消息 执行以下任务的Apache Beam数据流 接受输入参数以收听GCP主题或订阅 接受输入参数以通过一些数据转换将事件数据保存到大查询中 使用10秒的窗口和30分钟的允许延迟水印进行流分析 流式分析汇总窗口中提到名称的时间并打印出来 先决条件 为了运行此代码，您需要进行以下设置 启用了BigQuery，PubSub和数据流的GCP工作项目 安装并初始化GCP Cloud SDK： ： 具有读取和写入上述服务的适当权限的服务帐户 没有服务帐户，您也可以使用默认的Google凭据 在BigQuery控制台窗口中，创建一个名为“ CoreTest
【文件预览】：
gcp_beam_pubsub_bigquery-develop
----.dockerignore(74B)
----wordCountExample.py(3KB)
----Dockerfile(724B)
----pubSubMessages()
--------subscribe.py(1KB)
--------__init__.py(0B)
--------publish.py(1KB)
----metadata.json(635B)
----main.py(4KB)
----requirements.txt(527B)
----mvp.py(6KB)
----README.md(5KB)
----.gitignore(36B)