文件名称：steaming_google_cloud
文件大小：13KB
文件格式：ZIP
更新时间：2024-04-06 01:22:19
Python
使用Cloud Functions将数据从Cloud Storage流式传输到BigQuery 这段代码从捕获流事件（将文件上传到Cloud Storage）到执行基本处理，错误处理，日志记录以及将流插入到bigquery的整个过程中，都研究了完整的接收管道。 该示例使用Cloud Function从存储桶（对象创建）中捕获事件，读取文件并将内容（JSON）流式传输到BigQuery中的表。 如果出现问题，该功能会将结果记录在Cloud Logging和Firestore中，以进行后期分析。 最后，可以使用DataStudio或具有API集成的前端Web UI来可视化BigQuery的数据。 有关如何执行此流传输管道的步骤的更多详细信息，请教程了解如何将 。
【文件预览】：
steaming_google_cloud-master
----firestore()
--------show_streaming_errors.py(2KB)
----functions()
--------move_file()
--------streaming()
----CONTRIBUTING.md(1KB)
----LICENSE(11KB)
----test_files()
--------data_error.json(310B)
--------jsonprueba.json(893B)
--------data.json(311B)
--------datatalkey.json(780B)
----schema.json(3KB)
----README.md(940B)