文件名称:ddui:用于数据科学管道可视化的Airflow插件
文件大小:739KB
文件格式:ZIP
更新时间:2024-02-24 19:12:51
airflow scikit-learn ml datascience airflow-plugin
Airflow的DataDriver插件 从熊猫的数据框到气流管道 为什么: 在机器学习项目中,本地交互式建模源代码和生产管道源代码之间存在差异,这是一个反复出现的问题。 由于我们经常在实验和生产之间进行切换,因此非常容易出错,因此非常耗时。 Datadriver项目旨在通过创建基于Pandas和sklearn的胶水代码进行建模,并基于Airflow进行自动化,调度以及监视和预测管道的监控来解决此问题。 插件说明 Datadriver UI(ddui)是我们开发来跟踪模型的Airflow插件。 与Datadriver的API(pyddapi)结合使用,它提供了DAG视图以跟踪机器学习工作流
【文件预览】:
ddui-master_github
----MANIFEST.in(109B)
----link_ddui_to_airflow.py(1KB)
----ddui()
--------templates()
--------dash_components.py(953B)
--------static()
--------__init__.py(0B)
--------orm.py(284B)
--------views.py(2KB)
--------dash_app.py(4KB)
--------plot.py(4KB)
--------plugin.py(1KB)
----img()
--------ddui.svg(51KB)
--------ddui_titan2.png(74KB)
--------ddui_titan1.png(106KB)
--------dependencies_analysis.png(464KB)
--------ddui_titan3.png(127KB)
----tests()
--------test_plot.py(176B)
--------conftest.py(359B)
--------dags()
--------test_views.py(989B)
--------__init__.py(0B)
--------dev_tools()
--------test_dash_app.py(2KB)
--------test_orm.py(251B)
--------test_link_ddui_to_airflow.py(2KB)
----ci()
--------Jenkinsfile(3KB)
--------test_requirements.txt(51B)
--------docker()
--------docker-compose.yml(810B)
--------run_docker.sh(98B)
----setup.cfg(957B)
----setup.py(85B)
----.gitignore(344B)
----CHANGELOG.md(1010B)
----README.md(4KB)
----LICENSE.txt(11KB)