【文件属性】：
文件名称：aws-ecs-airflow：使用Fargate任务在AWS ECS（弹性容器服务）中运行气流
文件大小：32KB
文件格式：ZIP
更新时间：2021-01-29 16:48:27
docker aws airflow etl terraform
气流ECS
设置为在AWS ECS容器中运行Airflow
要求
本地
码头工人
AWS
用于基础架构部署的AWS IAM用户，具有管理员权限
，完整运行pip install awscli
在~/.aws/credentials内设置您的IAM用户~/.aws/credentials
在.zshrc或.bashrc或将要使用的终端会话中设置这些环境变量export AWS_ACCOUNT=your_account_id
export AWS_DEFAULT_REGION=us-east-1 # it's the default region that needs to be setup also in infrastructure/config.tf
当地发展
生成Fernet密钥：
pip install cryptography
export AIRFLOW_FERNET_KEY=$(python -c "from cryptography.fernet import Fernet; print(Fernet.generate_key().decode())")
有关
【文件预览】：
aws-ecs-airflow-master
----.github()
--------FUNDING.yml(111B)
----Dockerfile(3KB)
----scripts()
--------deploy.sh(882B)
--------push_to_ecr.sh(692B)
----requirements.txt(62B)
----plugins()
--------my_first_operator.py(677B)
----config()
--------airflow.cfg(31KB)
--------entrypoint.sh(887B)
----LICENSE(1KB)
----README.md(3KB)
----Makefile(409B)
----docker-compose.yml(3KB)
----.gitignore(1KB)
----dags()
--------my_second_dag.py(1KB)
--------my_first_dag.py(1KB)
----infrastructure()
--------provider.tf(56B)
--------output.tf(491B)
--------config.tf(570B)
--------ecs.tf(2KB)
--------network.tf(2KB)
--------airflow_workers.tf(3KB)
--------airflow_flower.tf(3KB)
--------ecs_services.tf(3KB)
--------airflow_scheduler.tf(2KB)
--------airflow_web_server.tf(3KB)
--------redis.tf(1KB)
--------postgres.tf(2KB)
--------airflow_web_server_lb.tf(1019B)