文件名称:跳板气流迷你
文件大小:177KB
文件格式:ZIP
更新时间:2024-03-17 21:39:07
Python
目录 基本信息 该项目是Apache Airflow mini项目 描述 在此项目中,我们将使用Apache Airflow创建数据管道以提取在线股票市场数据并以Yahoo Finance作为数据源提供分析结果。 雅虎财经提供一分钟间隔内的日内市场价格详细信息。 技术领域 项目创建如下: 创建Docker映像要与Docker一起部署Airflow,最好参考的映像是puckel / docker-airflow。 但是无法按原样使用此图像; 由于一些原因。 原因之一是它没有安装我们在项目中使用的所有软件包。 如果需要更改airflow.config文件中的属性,则必须将它们作为环境变量传递。 对于大量变量,这并不容易。 因此,我们将使用puckel / docker-airflow的基本映像编写一个自定义的Dockerfile。 该图像将在我们所有的容器中使用。 以下是我们自定义的Doc
【文件预览】:
Springboard-AirflowMini-master
----Screenshots()
--------airflowwebserver.PNG(138KB)
----tmp_data()
--------2021-02-25()
----.vscode()
--------settings.json(70B)
----Dockerfile(165B)
----scripts()
--------config.py(121B)
--------finance.py(1KB)
--------stock.py(989B)
--------__pycache__()
----docker-compose-CeleryExecutor.yml(3KB)
----requirements.txt(30B)
----docker-compose-LocalExecutor.yml(2KB)
----LICENSE(1KB)
----finance_data()
--------data_tsla.csv(44KB)
--------data_aapl.csv(47KB)
----README.md(4KB)
----airflow()
--------airflow.cfg(12KB)
--------dags()
----env.list(80B)