airflow-dvc:DVC对Airflow工作流程的支持

时间:2024-05-10 16:03:56
【文件属性】:

文件名称:airflow-dvc:DVC对Airflow工作流程的支持

文件大小:197KB

文件格式:ZIP

更新时间:2024-05-10 16:03:56

Python

气流DVC(1.0.0) 这是一个扩展,增加了对操作的支持。 安装 要安装此软件包,请执行以下操作: $ python3 -m pip install airflow-dvc > =0.1.0 或者,如果您正在使用来运行Apache Airflow: $ poetry add apache-airflow@latest $ poetry add " airflow-dvc@1.0.0 " 该软件包提供什么? 该软件包提供以下核心功能: :bar_chart: (用于浏览所有已配置DVC操作员的选项卡) :floppy_disk: (用于将数据上传到DVC) :down_arrow: (用于从DVC下载数据) :eyes: (用于等待DVC上的文件修改) :robot: (DVC的高级客户端) 自己运行示例 示例在example/目录中提供。 请执行以下操作以设置快速Airflow演示: # Your git repo clone UR


【文件预览】:
airflow-dvc-master
----MANIFEST.in(196B)
----poetry.lock(178KB)
----install_deps.sh(190B)
----example()
--------plugins()
--------dags()
----pyproject.toml(2KB)
----airflow_dvc()
--------dvc_update_sensor.py(2KB)
--------dvc_hook.py(8KB)
--------dvc_upload.py(6KB)
--------dvc_download_operator.py(2KB)
--------__init__.py(933B)
--------plugin()
--------dvc_cli.py(4KB)
--------dvc_update_operator.py(2KB)
--------dvc_download.py(4KB)
--------cli()
----static()
--------screen2.png(24KB)
--------screen1.png(60KB)
--------cg_logo.png(38KB)
----setup.cfg(93B)
----publish.py(241B)
----VERSION(5B)
----.gitignore(57B)
----run_airflow.sh(408B)
----Makefile(460B)
----README.md(13KB)
----.bumpversion.cfg(574B)

网友评论