ETL项目:ETL项目

时间:2024-03-10 10:24:18
【文件属性】:

文件名称:ETL项目:ETL项目

文件大小:5.58MB

文件格式:ZIP

更新时间:2024-03-10 10:24:18

JupyterNotebook

ETL项目 本杰明·奥布里(Benjamin Aubry),加里·费舍尔(Gary Fisher)和布鲁斯·马克(Bruce Mark)撰写。 该项目是关于建立一个包含财务数据(即商品的历史价格,美联储数据和经济事件数据)的数据库,该数据库可用于进一步的数据分析。 不同的数据源以及数据结构(API,Web)导致了MongoDB的创建,该数据库为此类数据存储提供了灵活性。 该数据库吸收3个不同的数据源(请参见下文): –商品历史价格(通过API) –美联储数据(通过API) –经济事件日历(网络抓取) 以下信息说明了已采取的步骤: 在执行ETL过程之前,需要进行初始设置。 获得了quandl.com API和stlouisfed.org API的API密钥,已安装的需求文件以及导入的依赖项。 参考: 使用BeautifulSoup创建了一个.get()请求路径,分析了返回


【文件预览】:
ETL-Project-master
----.gitignore(848B)
----data_export_files()
--------corn_2nd.csv(913KB)
--------silver_2nd.csv(425KB)
--------natgas_2nd.csv(422KB)
--------copper_2nd.csv(527KB)
--------crude_2nd.csv(534KB)
--------livecatt_2nd.csv(780KB)
--------K_Wheat_2nd.csv(644KB)
--------gold_2nd.csv(656KB)
----screenshots()
--------declaring_db_collections.PNG(27KB)
--------MongoDB_economics_db.PNG(135KB)
--------economics_db.event_data.PNG(75KB)
--------economics_db.fed_data.PNG(92KB)
--------insert_many_function.PNG(4KB)
--------economics_db.commodities_copper.PNG(71KB)
----README.md(6KB)
----starter_files()
--------Final_Combined()
--------Bruce()
--------Gary()
--------Ben()
----ETL_Project_Final.ipynb(85KB)

网友评论