文件名称：星火ETL
文件大小：1.41MB
文件格式：ZIP
更新时间：2024-03-08 19:53:37
Python
下载Ubuntu 18.04（附带python-3.6的船舶），安装JDK-8，scala，pip3，spark + hadoop-2.4.0（因为它需要与python-3.6和java-8兼容，所以很关键），git ...（最近了解到还可以使用从Docker Hub安装的spark启动docker映像！） 启动一个Spark实例（在spark-install.PNG和bashrc中检查->环境设置） 启动一个Postgres数据库实例（CHECKOUT-> postgresql-install.PNG） 处理以下链接中的文件，并将其加载到数据库中的表（stock_prices）中。 （结帐-> spark_etl.sh，spark_etl.py，spark_etl.log） 创建另一个表（stock_monthly_prices），该表将仅包含以下列：（CHECKOUT-> st
【文件预览】：
Spark-ETL-master
----spark_etl.log(20KB)
----spark-install.PNG(305KB)
----spark_etl.sh(181B)
----spark_etl.py(2KB)
----scheduling.PNG(519KB)
----stock_prices.sql(687B)
----README.md(955B)
----stock_prices.csv(61KB)
----bashrc(361B)
----postgresql-install.PNG(173KB)
----load_stock_price.PNG(266KB)
----load_stock_monthly_price.PNG(265KB)
----crontab(89B)