Spark集群环境搭建

时间:2021-10-30 09:18:40

环境准备:

虚拟机:ubuntu 16.04 LTS

已经搭建好hadoop集群的两台主机:

master:192.168.184.158

slave1:192.168.184.169


由于电脑性能问题,将masterslave1主机共同作为节点进行配置,即master也作为datanode(实际应用中不建议,这里是为了模拟)。

 

1.安装scala

    下载地址为:http://www.scala-lang.org/download/

    先在master上安装,路径为:/home/hadoop/software/

tar -xvf scala-2.11.8.tgz

mv scala-2.11.8  scala

    /home/hadoop/software/scala/bin目录加入环境变量,生效后执行

scala-version

会出现以下信息:

    Scala code runner version 2.11.8-- Copyright 2002-2016,LAMP/EPFL

    分发scala文件目录到slave节点,

    scp -r /home/hadoop/software/scala hadoop@slave1:/home/hadoop/software/

同样配置环境变量。

 

2.  安装spark

下载sparkhttp://d3kbcqa49mib13.cloudfront.net/spark-1.2.0-bin-hadoop2.4.tgz

/home/hadoop/software/解压并重命名为spark

master主机配置spark:

cd /home/hadoop/software/spark/conf

cp spark-env.sh.templatespark-env.sh

spark-env.sh最后加入如下内容:

###jdk安装目录

exportJAVA_HOME=/home/hadoop/software/jdk1.6.0_31

###scala安装目录

export SCALA_HOME=/home/hadoop/software/scala

###spark集群的master节点的ip

export SPARK_MASTER_IP=192.168.184.158

###指定的worker节点能够最大分配给Excutors的内存大小

export SPARK_WORKER_MEMORY=2g

###hadoop集群的配置文件目录

exportHADOOP_CONF_DIR=/home/hadoop/software/hadoop/etc/hadoop

 

新建slaves文件

加入集群节点,节点应和hadoop下的节点一致:

master

slave1

master配置完成,将/home/hadoop/software/spark/目录分发至其他slave节点:

scp -r/home/hadoop/software/spark hadoop@slave1: /home/hadoop/software/

 

3.  启动spark集群

先启动hadoop hdfs

start-dfs.sh

启动完毕后

cd /home/hadoop/software/spark/sbin

执行

./start-all.sh

访问:http://192.168.184.158:8080/如下即执行成功:

Spark集群环境搭建