CentOS7安装spark集群

时间:2023-01-28 17:05:21

前提:使用的环境是centos7.2,已经安装了jdk 1.8 和hadoop2.7.1,三个服务器节点master,salve1,slave2

1、安装scala

1)下载scala

下载地址

https://www.scala-lang.org/download/

我这里下载了scale 2.11版本

CentOS7安装spark集群

上传压缩包到centos,然后解压

tar -zxvf scala-2.11.6.tgz

2)配置环境变量

vim /etc/profile

添加配置

export SCALA_HOME=/home/hadoop/scala-2.11.6

export PATH=CentOS7安装spark集群SCALA_HOME/bin

CentOS7安装spark集群

使配置生效

source /etc/profile

查看版本号

scala -version

CentOS7安装spark集群

2、安装spark

1)下载spark

下载地址

https://www.scala-lang.org/download/

CentOS7安装spark集群

上传到centos,解压

2)配置环境变量

vim /etc/profile

添加配置

export SPARK_HOME=/home/hadoop/spark-2.3.3-bin-hadoop2.7

export PATH=CentOS7安装spark集群SPARK_HOME/bin

CentOS7安装spark集群

使配置生效

source /etc/profile

3)配置spark

(1)进入conf文件夹,把spark-env.sh.template复制一份spark-env.sh

cp spark-env.sh.template spark-env.sh

加入以下配置

export JAVA_HOME=/home/hadoop/jdk1.8.0_25

export SCALA_HOME=/home/hadoop/scala-2.11.6

export HADOOP_HOME=/home/hadoop/hadoop-2.7.1

export SPARK_HOME=/home/hadoop/spark-2.3.3-bin-hadoop2.7

export SPARK_MASTER_IP=master

export SPARK_MASTER_PORT=7077

(2)进入conf文件夹,把slaves.template拷贝一份改名为slaves

cp slaves.template slaves

删除localhost加入以下配置

maser slave1 slave2为3个服务器的别名(也可以写ip地址)

CentOS7安装spark集群

(3)将scala和spark都复制一份到slave1和slave2节点(其它所有节点)

scp -r /home/hadoop/spark-2.3.3-bin-hadoop2.7 slave1:/home/hadoop/

scp -r /home/hadoop/scala-2.11.6 slave1:/home/hadoop/

并且每个节点的环境变量都要同样配置,并且spark包中的配置的节点名称或者ip地址也要做相应的修改

3、启动spark

进入master节点

先跑起hadoop,进入hadoop安装包

/sbin/start-all.sh

在进入spark安装包

/sbin/start-all.sh

然后我们jps,我们看到了Master进程,说明我们已经启动了spark

我们远程查看一下,ui默认地址为8080

CentOS7安装spark集群