文件名称：airflow-autoscaling-ecs:使用Cloudformation在AWS ECS Fargate上进行气流部署
文件大小：1.24MB
文件格式：ZIP
更新时间：2024-05-24 07:04:00
airflow data-engineering airflow-ecs airflow-autoscaling-ecs airflow-deployment
气流自动缩放ECS
设置为在AWS ECS（弹性容器服务）Fargate中运行气流，并为所有服务启用了自动缩放。 所有基础架构都是使用Cloudformation创建的，并且Secrets由AWS Secrets Manager管理。
要求
使用管理员权限为基础架构部署创建一个AWS IAM用户
安装运行pip install awscli AWS CLI
安装Docker
在~/.aws/config设置您的IAM用户凭据
[profile my_aws_profile]
aws_access_key_id =
【文件预览】：
airflow-autoscaling-ecs-master
----.gitignore(1KB)
----Dockerfile(3KB)
----requirements.txt(169B)
----Makefile(1KB)
----deploy_cloudformation.py(6KB)
----cloudformation()
--------84_airflow-scheduler.yml.j2(5KB)
--------60_databases.yml.j2(4KB)
--------10_iam.yml.j2(1KB)
--------83_airflow-flower.yml.j2(8KB)
--------15_cloudwatch.yml.j2(345B)
--------86_airflow-workers.yml.j2(6KB)
--------30_encryption.yml.j2(684B)
--------80_ecs.yml.j2(511B)
--------70_redis.yml.j2(2KB)
--------50_secrets.yml.j2(2KB)
--------20_network.yml.j2(3KB)
--------75_ecr.yml.j2(954B)
--------85_airflow-webserver.yml.j2(8KB)
----deploy_docker.py(2KB)
----assets()
--------flower-ui.png(175KB)
--------cloudformation.png(1.07MB)
--------airflow-ui.png(188KB)
----dags()
--------my_second_dag.py(1KB)
--------my_first_dag.py(1KB)
----LICENSE(1KB)
----docker-compose.yml(2KB)
----.github()
--------workflows()
----utils.py(2KB)
----README.md(3KB)
----tests()
--------requirements.txt(27B)
--------test_dummy.py(35B)
----config()
--------entrypoint.sh(951B)
--------airflow.cfg(17KB)
----service.yml(2KB)
----plugins()
--------my_first_operator.py(677B)