Spark学习进度-Spark环境搭建&Spark shell

Spark环境搭建

下载包

所需Spark包：我选择的是2.2.0的对应Hadoop2.7版本的，下载地址：https://archive.apache.org/dist/spark/spark-2.2.0/

Spark 集群高可用搭建

对于 Spark Standalone 集群来说, 当 Worker 调度出现问题的时候, 会自动的弹性容错, 将出错的 Task 调度到其它 Worker 执行

但是对于 Master 来说, 是会出现单点失败的, 为了避免可能出现的单点失败问题, Spark 提供了两种方式满足高可用

• 使用 Zookeeper 实现 Masters 的主备切换

• 使用文件系统做主备切换

Step 1 停止 Spark 集群

cd /export/servers/spark
sbin/stop-all.sh

Step 2 修改配置文件, 增加 Spark 运行时参数, 从而指定 Zookeeper 的位置

1. 进入 spark-env.sh 所在目录, 打开 vi 编辑

   cd /export/servers/spark/conf
   vi spark-env.sh

2. 编辑 spark-env.sh, 添加 Spark 启动参数, 并去掉 SPARK_MASTER_HOST 地址

   

   # 指定 Java Home
   export JAVA_HOME=/export/servers/jdk1.8.0_141
   
   # 指定 Spark Master 地址
   # export SPARK_MASTER_HOST=node01
   export SPARK_MASTER_PORT=7077
   
   # 指定 Spark History 运行参数
   export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=4000 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://node01:8020/spark_log"
   
   # 指定 Spark 运行时参数
   export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=node01:2181,node02:2181,node03:2181 -Dspark.deploy.zookeeper.dir=/spark"

Step 3 分发配置文件到整个集群

cd /export/servers/spark/conf
scp spark-env.sh node02:$PWD
scp spark-env.sh node03:$PWD

Step 4 启动

1. 在 node01 上启动整个集群

   cd /export/servers/spark
   sbin/start-all.sh
   sbin/start-history-server.sh

2. 在 node02 上单独再启动一个 Master

   cd /export/servers/spark
   sbin/start-master.sh

Step 5 查看 node01 master 和 node02 master 的 WebUI

1. 你会发现一个是 ALIVE(主), 另外一个是 STANDBY(备)

Spark shell

简单介绍

Spark shell 是 Spark 提供的一个基于 Scala 语言的交互式解释器, 类似于 Scala 提供的交互式解释器, Spark shell 也可以直接在 Shell 中编写代码执行
这种方式也比较重要, 因为一般的数据分析任务可能需要探索着进行, 不是一蹴而就的, 使用 Spark shell 先进行探索, 当代码稳定以后, 使用独立应用的方式来提交任务, 这样是一个比较常见的流程

Spark shell 的方式编写 WordCount

Spark shell 简介 启动 Spark shell 进入 Spark 安装目录后执行 spark-shell --master master 就可以提交Spark 任务 Spark shell 的原理是把每一行 Scala 代码编译成类, 最终交由 Spark 执行

Master地址的设置 Master 的地址可以有如下几种设置方式 Table 3. master 地址 解释 local[N] 使用 N 条 Worker 线程在本地运行 spark://host:port 在 Spark standalone 中运行, 指定 Spark 集群的 Master 地址, 端口默认为 7077 mesos://host:port 在 Apache Mesos 中运行, 指定 Mesos 的地址 yarn 在 Yarn 中运行, Yarn 的地址由环境变量 HADOOP_CONF_DIR 来指定

Step 1 准备文件

在 hadoop01 中创建文件 /export/data/wordcount.txt,文件内容如下

hadoop spark flume
spark hadoop
flume hadoop

Step 2 启动 Spark shell

cd /export/servers/spark
bin/spark-shell --master local[2]

Step 3 执行如下代码

运行流程