主管:执行和导出Ploomber项目

时间:2024-03-11 19:02:33
【文件属性】:

文件名称:主管:执行和导出Ploomber项目

文件大小:88KB

文件格式:ZIP

更新时间:2024-03-11 19:02:33

Python

监督员 Soopervisor引入了Ploomber项目的概念,这是运行管道的标准方法。 用例 在本地运行管道 在持续集成服务中运行管道 使用cron(或Github Actions)调度管道 通过Argo工作流程在Kubernetes中运行 在Apache Airflow中运行 怎么运行的 运行管道时,Soopervisor需要以下文件布局: environment.yml : pipeline.yaml :管道管道规范 所有这些文件的父文件夹定义为项目的根文件夹。 该文件夹的名称被设计为项目的名称。 例如,如果您的pipeline.yaml位于/path/to/projects/some-project/pipeline.yaml ,则项目的根文件夹为/path/to/projects/some-project而项目的名称为some-project 。 如果您的项目遵循这两个约


【文件预览】:
soopervisor-master
----readthedocs.yaml(198B)
----README.rst(2KB)
----.github()
--------workflows()
----CHANGELOG.rst(2KB)
----src()
--------soopervisor()
----dev-setup()
--------script.sh(704B)
--------airflow.cfg(38KB)
--------Procfile(64B)
----doc()
--------make.bat(795B)
--------local.rst(2KB)
--------airflow.rst(5KB)
--------conf.py(2KB)
--------scheduling.rst(2KB)
--------assets()
--------environment.yml(54B)
--------index.rst(249B)
--------Makefile(634B)
--------ci.rst(775B)
--------api()
--------kubernetes.rst(13KB)
--------dev.rst(165B)
----versioneer.py(8KB)
----tasks.py(994B)
----setup.py(2KB)
----Makefile(223B)
----tests()
--------test_cli.py(3KB)
--------_test_box_storage.py(6KB)
--------test_export_airflow.py(3KB)
--------test_LocalExecutor.py(2KB)
--------test_executor.py(709B)
--------test_ScriptConfig_validate.py(3KB)
--------test_build.py(532B)
--------assets()
--------test_docker_executor.py(444B)
--------test_export_argo.py(2KB)
--------conftest.py(2KB)
--------test_ArgoConfig.py(3KB)
--------test_ScriptConfig.py(8KB)
--------__test_box_storage.py(1KB)
--------test_AirflowConfig.py(173B)
--------.coveragerc(155B)
----.gitignore(1KB)

网友评论