安装spark ha集群

时间：2022-12-04 00:13:22
安装spark ha集群 

1.默认安装好hadoop+zookeeper

2.安装scala

	1.解压安装包

		tar zxvf scala-2.11.7.tgz

	2.配置环境变量

		vim /etc/profile

		#scala

		export SCALA_HOME=/opt/scala-2.11.7

		#CLASSPATH

		export CLASSPATH=$CLASSPATH:$SCALA_HOME/lib

		#PATH

		export PATH=$PATH:$SCALA_HOME/bin

		保存退出

		source /etc/profile

	3.验证

		scala -version

3.安装spark

	1.解压安装包

		tar zxvf spark-1.6.0-bin-hadoop2.4.tgz

	2.配置环境变量

		vim /etc/profile

		#spark

		export SPARK_HOME=/opt/spark-1.6.0

		#CLASSPATH

		export CLASSPATH=$CLASSPATH:$SPARK_HOME/lib

		#PATH

		export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

		保存退出

		source /etc/profile

	3.修改配置文件

		1.根据模板复制相关配置文件

			cp spark-env.sh.template spark-env.sh

			cp slaves.template slaves

			cp log4j.properties.template log4j.properties

			cp spark-defaults.conf.template spark-defaults.conf

		2.创建相关目录

			mkdir /opt/spark-1.6.0/logs

			mkdir /opt/spark-1.6.0/tmp

			hadoop fs -mkdir /spark //在hdfs上创建存储spark的任务日志文件

		3.修改配置文件参数

			####spark-env.sh#### 最后加入 其中hadoop.master为主节点 hadoop.slaver1为备份主节点

			export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop.master:2181,hadoop.slaver1:2181 -Dspark.deploy.zookeeper.dir=/spark"

			export JAVA_HOME=/usr/java/jdk1.8.0_65

			export SPARK_WORKER_CORES=1

			export SPARK_WORKER_INSTANCES=1

			export SPARK_WORKER_MEMORY=1g

			####slaves####将所有的从节点主机名加入

			hadoop.slaver1

			hadoop.slaver2

			hadoop.slaver3

			####log4j.properties####

			无需修改

			####spark-defaults.conf####

			spark.eventLog.enabled  true

			spark.eventLog.dir      hdfs://ns1:8020/spark

			spark.history.fs.logDirectory      hdfs://ns1:8020/spark

			spark.eventLog.compress true

	4.分发到各个节点

		scp -r /opt/spark-1.6.0 hadoop@hadoop.slaver1:/opt

		scp -r /opt/spark-1.6.0 hadoop@hadoop.slaver2:/opt

		scp -r /opt/spark-1.6.0 hadoop@hadoop.slaver3:/opt

	5.启动

		//先启动zookeeper 和 hdfs

		sbin/start-all.sh   //注意切换目录  不然跟hadoop的start-all 冲突

		spark-shell --master spark://hadoop.master:7077  //集群模式启动客户端

		spark-shell     //单机模式启动客户端

	6.验证

		1.jps

		2.web

			节点主机名:8080  //如果采用默认端口的話则是8080  主节点web

			节点主机名:18080  //主节点 历史任务web

			节点主机名:4040   //子节点正在进行任务web

		3.HA

			在备份主机节点执行 start-master.sh命令

			然后在主机节点把master进程kill掉，此时会自行切换至备份节点(需要几秒钟的缓冲时间)

	7.常用命令

		1.启动

			start-all.sh  //注意切换目录

			start-master.sh

			stop-master.sh

			start-slave.sh 主节点:7077  //默认端口  如果不修改的話

			start-history-server.sh   //启动任务历史服务

		2.使用

			1.本机模式

				运行 spark-shell

			2.yarn

				打包运行jar包

				spark-submit

				--master spark://spark113:7077

				--class org.apache.spark.examples.SparkPi

				--name Spark-Pi --executor-memory 400M

				--driver-memory 512M

				/opt/spark-1.6.0/lib/spark-examples-1.6.0-hadoop2.4.0.jar

			3.wordcount

				val file=sc.textFile("hdfs://ns1:8020/huangzhijian/test.dat")

				val count=file.flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_+_)

				count.saveAsTextFile("hdfs://ns1:8020/output")  //需保证hdfs上该目录不存在

　　

相关文章