CDH对我们已经封装了,我们如果需要Spark on Yarn,只需要yum安装几个包就可以了。
前面的文章我有写过如果搭建自己内网的CDH Yum服务器,请参考《CDH 5.5.1 Yum源服务器搭建》http://www.cnblogs.com/luguoyuanf/p/56187ea1049f4011f4798ae157608f1a.html
如果没有内网Yarn服务器的,请使用Cloudera的yum服务器。
开始安装(所有的从节点)
yum install -y spark-core spark-python
是不是很简单?
测试:
spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster --driver-memory 4g --executor-memory 2g --executor-cores 2--queue thequeue /usr/lib/spark/lib/spark-examples.jar 2
![CDH5.5.1 安装Spark ON Yarn环境 CDH5.5.1 安装Spark ON Yarn环境](https://image.shishitao.com:8440/aHR0cHM6Ly9iYnNtYXguaWthZmFuLmNvbS9zdGF0aWMvTDNCeWIzaDVMMmgwZEhBdmFXMWhaMlZ6TWpBeE5TNWpibUpzYjJkekxtTnZiUzlpYkc5bkx6WXhNVGd4TlM4eU1ERTJNRE12TmpFeE9ERTFMVEl3TVRZd016STJNVEF6TkRNd016QTRMVEV5T1Rnek5EazRNVGN1Y0c1bi5qcGc%3D.jpg?w=700)
![CDH5.5.1 安装Spark ON Yarn环境 CDH5.5.1 安装Spark ON Yarn环境](https://image.shishitao.com:8440/aHR0cHM6Ly9iYnNtYXguaWthZmFuLmNvbS9zdGF0aWMvTDNCeWIzaDVMMmgwZEhBdmFXMWhaMlZ6TWpBeE5TNWpibUpzYjJkekxtTnZiUzlpYkc5bkx6WXhNVGd4TlM4eU1ERTJNRE12TmpFeE9ERTFMVEl3TVRZd016STJNVEF6TkRNeE1EY3pMVGsyTkRBME9EYzNPQzV3Ym1jPS5qcGc%3D.jpg?w=700)