airflow-maintenance-dags:一系列DAG工作流程可帮助维持Airflow的运行

时间:2024-05-27 04:29:44
【文件属性】:

文件名称:airflow-maintenance-dags:一系列DAG工作流程可帮助维持Airflow的运行

文件大小:31KB

文件格式:ZIP

更新时间:2024-05-27 04:29:44

workflow airflow maintenance cleanup dag

气流维护包 一系列DAG /工作流程可帮助维持Airflow的运行 DAG /工作流程 备份配置您可以部署到Airflow中的维护工作流程,以定期获取各种Airflow配置和文件的备份。 清除缺失的数据 您可以部署到Airflow中的维护工作流程,以定期清除DAG表中的条目,该条目不再具有相应的Python文件。 这样可以确保DA​​G表中没有多余的项目,并且Airflow Web Server仅显示那些可用的DAG。 数据库清理您可以部署到Airflow中的维护工作流,以定期清除DagRun,TaskInstance,Log,XCom,Job DB和SlaMiss条目,以避免Airflow MetaStore中包含过多数据。 终止任务 您可以部署到Airflow中的维护工作流,以定期取消后台运行的任务,这些任务与数据库中正在运行的任务不对应。 这很有用,因为当您通过Airflow


【文件预览】:
airflow-maintenance-dags-master
----kill-halted-tasks()
--------airflow-kill-halted-tasks.py(19KB)
--------README.md(846B)
----.gitignore(1KB)
----backup-configs()
--------README.md(761B)
--------airflow-backup-configs.py(8KB)
----delete-broken-dags()
--------README.md(823B)
--------airflow-delete-broken-dags.py(3KB)
----clear-missing-dags()
--------airflow-clear-missing-dags.py(4KB)
--------README.md(876B)
----LICENSE(11KB)
----log-cleanup()
--------airflow-log-cleanup.py(8KB)
--------airflow-log-cleanup-pwdless-ssh.py(6KB)
--------README.md(3KB)
----db-cleanup()
--------airflow-db-cleanup.py(12KB)
--------README.md(2KB)
----README.md(2KB)

网友评论