前提:使用的环境是centos7.2,已经安装了jdk 1.8 和hadoop2.7.1,三个服务器节点master,salve1,slave2
1、安装scala
1)下载scala
下载地址
https://www.scala-lang.org/download/
我这里下载了scale 2.11版本
上传压缩包到centos,然后解压
tar -zxvf scala-2.11.6.tgz
2)配置环境变量
vim /etc/profile
添加配置
export SCALA_HOME=/home/hadoop/scala-2.11.6
export PATH=SCALA_HOME/bin
使配置生效
source /etc/profile
查看版本号
scala -version
2、安装spark
1)下载spark
下载地址
https://www.scala-lang.org/download/
上传到centos,解压
2)配置环境变量
vim /etc/profile
添加配置
export SPARK_HOME=/home/hadoop/spark-2.3.3-bin-hadoop2.7
export PATH=SPARK_HOME/bin
使配置生效
source /etc/profile
3)配置spark
(1)进入conf文件夹,把spark-env.sh.template复制一份spark-env.sh
cp spark-env.sh.template spark-env.sh
加入以下配置
export JAVA_HOME=/home/hadoop/jdk1.8.0_25
export SCALA_HOME=/home/hadoop/scala-2.11.6
export HADOOP_HOME=/home/hadoop/hadoop-2.7.1
export SPARK_HOME=/home/hadoop/spark-2.3.3-bin-hadoop2.7
export SPARK_MASTER_IP=master
export SPARK_MASTER_PORT=7077
(2)进入conf文件夹,把slaves.template拷贝一份改名为slaves
cp slaves.template slaves
删除localhost加入以下配置
maser slave1 slave2为3个服务器的别名(也可以写ip地址)
(3)将scala和spark都复制一份到slave1和slave2节点(其它所有节点)
scp -r /home/hadoop/spark-2.3.3-bin-hadoop2.7 slave1:/home/hadoop/
scp -r /home/hadoop/scala-2.11.6 slave1:/home/hadoop/
并且每个节点的环境变量都要同样配置,并且spark包中的配置的节点名称或者ip地址也要做相应的修改
3、启动spark
进入master节点
先跑起hadoop,进入hadoop安装包
/sbin/start-all.sh
在进入spark安装包
/sbin/start-all.sh
然后我们jps,我们看到了Master进程,说明我们已经启动了spark
我们远程查看一下,ui默认地址为8080