spark 安装

时间:2021-10-29 14:43:44

Spark 集群安装

1.上传tar包,解压tar包

tar -zxvf spark-2.0.0-bin-hadoop2.6.tgz

2.修改配置文件(这是yarn模式)

进入 spark/conf 下

cp  slaves.template  slaves

将Spark集群节点写入slaves

spark 安装

cp  spark-env.sh.template  spark-env.sh

加入以下配置

spark 安装

3.启动Spark

sbin/start-all.sh

4.yarn运行jar作业

spark-submit --master yarn --deploy-mode cluster --class cn.spark.HelloWorld Hello_Spark-1.0-SNAPSHOT.jar