文件名称:apache_beam_playground:这个git repo的目的是学习如何使用Apache Beam并编写几种管道
文件大小:36KB
文件格式:ZIP
更新时间:2024-05-29 12:48:04
Python
梁游乐场 这个git repo的目的是学习如何使用Apache Beam并测试一些基本的东西。 一切都在本地运行。 也许将来会与Google Cloud Platform连接。 安装 pip install -r requirements.txt 执行 通过以下方式启动实例: make run 命中以下端点: http://localhost:8080/dataflow/transform_titanic_data 如果数据集的转换正常,则应显示以下消息: All survivors are writte to data/output/titanic.txt-00000-of-00001
【文件预览】:
apache_beam_playground-master
----pipeline()
--------__init__.py(251B)
--------views.py(3KB)
----config()
--------development.py(29B)
--------__init__.py(50B)
----main.py(52B)
----web.py(89B)
----data()
--------input()
--------output()
----__init__.py(0B)
----factory.py(345B)
----requirements.txt(91B)
----setup.py(824B)
----.gitignore(151B)
----dev_requirements.txt(69B)
----Makefile(247B)
----README.md(565B)
----utils()
--------helpers.py(335B)
--------__init__.py(0B)
----pylintrc(14KB)