apache-spark-etl-pipeline-example:演示使用Apache Spark构建强大的ETL管道,同时利用开源通用集群计算的优势

时间:2024-02-27 02:08:13
【文件属性】:

文件名称:apache-spark-etl-pipeline-example:演示使用Apache Spark构建强大的ETL管道,同时利用开源通用集群计算的优势

文件大小:54.25MB

文件格式:ZIP

更新时间:2024-02-27 02:08:13

python postgres vagrant spark etl

Spark ETL 怎么跑 启动无业游民的虚拟机 vagrant up 在Vagrant VM中获取Bash Shell vagrant ssh 设置配置脚本权限(根据执行方式,您可能不需要这样做) sudo chmod +x /vagrant/config.sh 移至/ vagrant目录 cd /vagrant/config 执行配置 ./config.sh 安装Pyspark ./install_pyspark.sh 移至src目录 cd /vagrant/src 执行Spark应用 spark-submit --driver-class-path /vagrant/


网友评论