Spark Standalone与Spark on YARN的几种提交方式

时间:2022-01-20 16:10:43

  不多说,直接上干货!

Spark Standalone的几种提交方式

别忘了先启动spark集群!!!

spark-shell用于调试,spark-submit用于生产。

1.spark-shell client

[spark@master spark-1.6.1-bin-hadoop2.6]$ bin/spark-shell --master spark://master:7077 --deploy-mode client --total-executor-cores 4 --executor-cores 1 --executor-memory 1g  
[spark@master spark-1.6.1-bin-hadoop2.6]$
bin/spark-submit --master spark://drguo1:7077 --deploy-mode client --name "test" --class org.apache.spark.examples.SparkPi /opt/spark-1.6.1-bin-hadoop2.6/lib/spark-examples-1.6.1-hadoop2.6.0.jar 10  // :: WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Pi is roughly 3.141968

2.spark-submit cluster

[spark@master spark-1.6.1-bin-hadoop2.6]$
bin/spark-submit --master spark://drguo1:7077 --deploy-mode cluster --name "test" --class org.apache.spark.examples.SparkPi /opt/spark-1.6.1-bin-hadoop2.6/lib/spark-examples-1.6.1-hadoop2.6.0.jar 10 
 

Spark on YARN的几种提交方式

官方文档:http://spark.apache.org/docs/latest/running-on-yarn.html

在spark-env.sh里加入HADOOP_CONF_DIR=/opt/Hadoop/hadoop-2.7.2/etc/hadoop就可以了,设置之后,再读文件时默认在hdfs的/user/guo/下读该文件。

别忘了先启动yarn和hdfs!!!

1.spark-shell client

[spark@master spark-1.6.1-bin-hadoop2.6]$
./bin/spark-shell --master yarn-client
[spark@master spark-1.6.1-bin-hadoop2.6]$ ./bin/spark-shell --master yarn --deploy-mode client

或者设置下内存数和cpu数,不设就会用默认的

[spark@master spark-1.6.1-bin-hadoop2.6]$ spark-shell --master yarn-client --executor-memory 2g --executor-cores   

2.spark-submit cluster

[spark@master spark-1.6.1-bin-hadoop2.6]$
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster --num-executors  --driver-memory 1g --executor-memory 1g --executor-cores  --queue thequeue lib/spark-examples-1.6.-hadoop2.6.0.jar 
 ./bin/spark-submit --class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
--driver-memory 4g \
--executor-memory 2g \
--executor-cores \
--queue thequeue \
lib/spark-examples*.jar \

欢迎大家,加入我的微信公众号:大数据躺过的坑        人工智能躺过的坑
 
 
 

同时,大家可以关注我的个人博客

   http://www.cnblogs.com/zlslch/   和     http://www.cnblogs.com/lchzls/      http://www.cnblogs.com/sunnyDream/   

   详情请见:http://www.cnblogs.com/zlslch/p/7473861.html

  人生苦短,我愿分享。本公众号将秉持活到老学到老学习无休止的交流分享开源精神,汇聚于互联网和个人学习工作的精华干货知识,一切来于互联网,反馈回互联网。
  目前研究领域:大数据、机器学习、深度学习、人工智能、数据挖掘、数据分析。 语言涉及:Java、Scala、Python、Shell、Linux等 。同时还涉及平常所使用的手机、电脑和互联网上的使用技巧、问题和实用软件。 只要你一直关注和呆在群里,每天必须有收获

对应本平台的讨论和答疑QQ群:大数据和人工智能躺过的坑(总群)(161156071)Spark Standalone与Spark on YARN的几种提交方式Spark Standalone与Spark on YARN的几种提交方式Spark Standalone与Spark on YARN的几种提交方式Spark Standalone与Spark on YARN的几种提交方式Spark Standalone与Spark on YARN的几种提交方式 

Spark Standalone与Spark on YARN的几种提交方式

Spark Standalone与Spark on YARN的几种提交方式

Spark Standalone与Spark on YARN的几种提交方式