Spark-1.2.2部署

1.安装Scala

1.1解压和安装

在Scala官网http://www.scala-lang.org/download/下载Scala安装包，然后解压。（注：JDK的版本最好是1.7及以上，否则Scala版本要选择较低的。换言之，JDK版本影响Scala版本的选择。）

执行命令：

tar -zxvf scala-2.11.6.tgz

1.2配置环境变量

#Scala

export SCALA_HOME=/root/install/scala-2.11.6

export PATH=$PATH:$SCALA_HOME/bin

1.3验证安装

执行命令：scala，并且出现下图表示安装成功：

Spark-1.2.2部署

2.部署Spark

2.1解压和安装

在Spark官网http://spark.apache.org/downloads.html下载spark安装包spark-1.2.2-bin-hadoop2.4.tgz，直接解压安装。

执行命令：

tar -zxvf spark-1.2.2-bin-hadoop2.4.tgz

2.2修改配置文件

第一个文件：slaves文件

master

slave-1

slave-2

注：这里master是否写入slaves，①直接影响Spark启动后，用jps是否有worker进程启动；②直接影响web页面是否能够监测到master的状态。

第二个文件：spark-env.sh

首先把spark-env.sh.template文件重命名问spark-env.sh；然后写入以下参数：

export JAVA_HOME=/root/install/jdk1.7.0_76

export SCALA_HOME=/root/install/scala-2.11.6

export HADOOP_HOME=/root/install/hadoop-2.4.1

export HADOOP_CONF_DIR=/root/install/hadoop-2.4.1/etc/hadoop

export SPARK_MASTER_IP=192.168.253.10

export SPARK_MASTER_PORT=7077

export MASTER=spark://192.168.253.10:7077

export SPARK_WORKER_CORES=1

export SPARK_WORKER_MEMORY=4g

2.3启动Spark集群

执行命令：

./sbin/start-all.sh

2.4检查是否部署成功

方式一：执行jps命令

Spark-1.2.2部署

方式二：查看Web页面

输入地址：192.168.253.10:8080