1.下载解压
(1)安装Scala-2.10.4并解压
(2)/etc/profile加入PATH路径
(3)source /etc/profile使PATH的配置生效
(4)下载并解压spark-1.2.0.bin-hadoop1.tar.gz
(5)/etc/profile加入PATH路径
(5)source /etc/profile使PATH的配置生效
2.配置conf/spark-env.sh加入以下参数
export JAVA_HOME=/usr/local/jdk
export SCALA_HOME=/usr/local/scala
export SPARK_WOKER_MEMORY=2g
export SPARK_MASTER_IP=192.168.80.103
3在conf/slaves配置slave文件,加入从节点
hadoop1
hadoop2
4:启动:
(1)先启动start-dfs.sh,只需要启动hdfs即可,不需要start-all.sh
(2)再执行sbin目录下的start-all.sh脚本即可 一定要注意是./ 当前目录start-all.sh 因为hadoop也有start-all.sh
./sbin/start-all.sh
注意区分是在bin目录下和sbin目录下
5:spark shell脚本运行
cd /usr/local/spark/bin
>spark shell
6.运行:执行bin目录下的脚本例子
./bin/run-example org.apache.spark.examples.SparkPi
7验证:
web验证:spark:8080