Spark的精简安装步骤---陈楠心血总结

时间:2022-10-17 19:54:34

1.下载解压

(1)安装Scala-2.10.4并解压

(2)/etc/profile加入PATH路径

(3)source /etc/profile使PATH的配置生效

(4)下载并解压spark-1.2.0.bin-hadoop1.tar.gz

(5)/etc/profile加入PATH路径

(5)source /etc/profile使PATH的配置生效


2.配置conf/spark-env.sh加入以下参数

export JAVA_HOME=/usr/local/jdk

export SCALA_HOME=/usr/local/scala

export SPARK_WOKER_MEMORY=2g

export SPARK_MASTER_IP=192.168.80.103


3在conf/slaves配置slave文件,加入从节点

hadoop1

hadoop2


4:启动:

(1)先启动start-dfs.sh,只需要启动hdfs即可,不需要start-all.sh

(2)再执行sbin目录下的start-all.sh脚本即可   一定要注意是./    当前目录start-all.sh  因为hadoop也有start-all.sh

./sbin/start-all.sh

注意区分是在bin目录下和sbin目录下


5:spark shell脚本运行

cd   /usr/local/spark/bin

>spark shell

Spark的精简安装步骤---陈楠心血总结


6.运行:执行bin目录下的脚本例子

./bin/run-example  org.apache.spark.examples.SparkPi

Spark的精简安装步骤---陈楠心血总结

Spark的精简安装步骤---陈楠心血总结



7验证:

web验证:spark:8080

Spark的精简安装步骤---陈楠心血总结