文件名称：aws-ecs-airflow：使用Fargate任务在AWS ECS（弹性容器服务）中运行气流
文件大小：32KB
文件格式：ZIP
更新时间：2024-02-19 10:35:07
docker aws airflow etl terraform
气流ECS 设置为在AWS ECS容器中运行Airflow 要求 本地 码头工人 AWS 用于基础架构部署的AWS IAM用户，具有管理员权限 ，完整运行pip install awscli 在~/.aws/credentials内设置您的IAM用户~/.aws/credentials 在.zshrc或.bashrc或将要使用的终端会话中设置这些环境变量export AWS_ACCOUNT=your_account_id export AWS_DEFAULT_REGION=us-east-1 # it's the default region that needs to be setup also in infrastructure/config.tf 当地发展 生成Fernet密钥： pip install cryptography export AIRFLOW_FERNET_KEY=$(python -c "from cryptography.fernet import Fernet; print(Fernet.generate_key().decode())") 有关
【文件预览】：
aws-ecs-airflow-master
----.github()
--------FUNDING.yml(111B)
----Dockerfile(3KB)
----scripts()
--------deploy.sh(882B)
--------push_to_ecr.sh(692B)
----requirements.txt(62B)
----plugins()
--------my_first_operator.py(677B)
----config()
--------airflow.cfg(31KB)
--------entrypoint.sh(887B)
----LICENSE(1KB)
----README.md(3KB)
----Makefile(409B)
----docker-compose.yml(3KB)
----.gitignore(1KB)
----dags()
--------my_second_dag.py(1KB)
--------my_first_dag.py(1KB)
----infrastructure()
--------provider.tf(56B)
--------output.tf(491B)
--------config.tf(570B)
--------ecs.tf(2KB)
--------network.tf(2KB)
--------airflow_workers.tf(3KB)
--------airflow_flower.tf(3KB)
--------ecs_services.tf(3KB)
--------airflow_scheduler.tf(2KB)
--------airflow_web_server.tf(3KB)
--------redis.tf(1KB)
--------postgres.tf(2KB)
--------airflow_web_server_lb.tf(1019B)