文件名称：Example-Airflow-DAG：使用Airflow插件中的钩子和运算符的DAG示例
文件大小：35KB
文件格式：ZIP
更新时间：2024-02-23 22:56:58
airflow mongodb etl google-analytics imap
DAG示例 该存储库包含示例DAG，这些示例DAG可以使用在Airflow Plugins组织中找到的运算符“立即可用”使用。 这些DAG的用例范围很广，从移动数据（请参阅 ）到后台系统自动化（可以使您的Airflow具有“超能力”）有所不同。 入门 在此找到的示例DAG可以分为三个主要类别： ETL 这些DAG专注于从各种系统中提取数据并将其放入Amazon Redshift，并以S3作为临时存储。 这些代表“ ETL”工作流程的最简单实现，可以“开箱即用”使用，也可以扩展以添加其他自定义逻辑。 PoC（概念验证） 这些DAG演示了自定义操作员和Airflow设置的简单实现。 它们通常不是“复制并粘贴” DAG，而是逐步介绍某些工作原理。 系统 这些DAG在系统管理级别上使用，并且可以被视为在Airflow本身中维护各种状态和配置的“元DAG”。 在某些情况下，这些DAG与其他自定义运算符（例如rate_limit_reset DAG）配合使用。 会费 非常欢迎您提供自己的DAG。 请参阅一些示例DAG，以了解一般格式指南。 执照 阿帕奇2.0
【文件预览】：
Example-Airflow-DAGs-master
----_config.yml(26B)
----system()
--------dynamic_connection_creation.py(1KB)
--------rate_limit_reset.py(4KB)
----LICENSE(11KB)
----.gitignore(10B)
----etl()
--------facebook_ads_to_redshift.py(5KB)
--------hubspot_to_redshift.py(14KB)
--------marketo_to_redshift.py(8KB)
--------mongo_to_redshift()
--------imap_to_redshift.py(5KB)
--------github_to_redshift.py(4KB)
--------salesforce_to_redshift.py(4KB)
--------google_analytics_to_redshift.py(7KB)
--------sftp_to_mongo.py(4KB)
----README.md(1KB)
----poc()
--------dummy_sensor_example.py(1010B)
--------singer_example.py(880B)
--------imap_example.py(2KB)
--------dynamic_dag_example.py(3KB)
--------dbt_example.py(3KB)
--------selenium_example.py(4KB)
--------mailgun_validation_example.py(2KB)