文件名称：aws-airflow-demo:帖子的项目文件
文件大小：284KB
文件格式：ZIP
更新时间：2024-06-12 18:02:06
aws airflow amazon-emr apache-airflow pyspark-applications
使用Apache Airflow在Amazon EMR上运行PySpark应用程序 概述 文章的项目文件， 。 请参阅帖子以获取有关使用项目文件的完整说明。 建筑学 以下是该帖子演示的最终高级架构。 该图以红色显示了DAG Run请求的大概路线。 该图包括一个可选的S3网关VPC端点，在本文中未详细介绍，但建议使用它以提高安全性。
【文件预览】：
aws-airflow-demo-main
----iam_policy()
--------airflow_emr_policy.json(1KB)
----dags()
--------throw_exception.py(1KB)
--------inject_bash_command.py(833B)
--------get_env_vars.py(988B)
--------clean_mwaa_db.py(3KB)
--------multiple_steps.py(2KB)
--------spark_pi_example.py(3KB)
--------get_airflow_cfg.py(1013B)
--------get_py_pkgs.py(828B)
--------sns_example.py(1KB)
--------bakery_sales.py(5KB)
----airflow_variables()
--------dag_run_config.json(113B)
--------admin_variables.json(408B)
----LICENSE(11KB)
----emr_steps()
--------emr_steps.json(2KB)
----.idea()
--------aws.xml(294B)
--------codeStyles()
--------misc.xml(185B)
--------vcs.xml(249B)
--------modules.xml(284B)
--------aws-airflow-demo.iml(526B)
--------.gitignore(176B)
--------inspectionProfiles()
----requirements.txt(161B)
----.gitignore(5KB)
----helper_scripts()
--------clone_repo_upload_to_s3.py(2KB)
--------dags_to_s3_from_github.py(2KB)
--------trigger_dag.py(1KB)
----README.md(779B)
----job_flow_overrides()
--------job_flow_overrides.json(2KB)
----diagram()
--------Airflow_UI.png(180KB)
--------Architecture.png(86KB)