Spark 单机环境配置

时间：2020-12-07 19:49:23

概要

大数据和人工智能已经宣传了好多年, Hadoop 和 Spark 也已经发布了很长时间, 一直想试试, 但是工作也遇不到使用的场景, 就一直拖着. 这次在极客时间上选了蔡元楠老师的《大规模数据处理实战》的课. 其中介绍了很多 Spark 的内容, 就此机会, 也在虚拟机中配置了 Spark 的单机环境.

一方面, 熟悉熟悉 Spark 的用法; 另一方面, 虽然还没有接触到大数据分析的场景, 但是即使是了解了解 Spark 中处理大数据的机制, API 的设计, 也可以开拓平时编程的思路.

Spark 单机环境配置

我是 Debian10 上配置的.

JDK 环境配置

JDK 使用的是 Oracle 的标准 JDK1.8 版本, 国内从 Oracle 官网上下载 JDK 非常慢, 推荐使用华为的 mirror: https://mirrors.huaweicloud.com/java/jdk/8u202-b08/jdk-8u202-linux-x64.tar.gz

下载后, 我是将其解压到 /usr/local 文件夹

$ wget https://mirrors.huaweicloud.com/java/jdk/8u202-b08/jdk-8u202-linux-x64.tar.gz

$ sudo tar zxvf jdk-8u202-linux-x64.tar.gz -C /usr/local

然后配置环境变量, 如果是 bash, 则配置 ~/.bashrc; 如果是 zsh, 则配置 ~/.zshenv

# java

export JAVA_HOME=/usr/local/jdk1.8

export PATH=$PATH:$JAVA_HOME/bin

配置好之后, 通过如下命令检查是否安装配置成功:

$ java -version

java version "1.8.0_202"

Java(TM) SE Runtime Environment (build 1.8.0_202-b08)

Java HotSpot(TM) 64-Bit Server VM (build 25.202-b08, mixed mode)

Spark 环境配置

Spark 安装也非常简单, 从官网上下载最新的 packagea, 我下载的最新版本如下:

$ wget http://mirror.bit.edu.cn/apache/spark/spark-3.0.0-preview2/spark-3.0.0-preview2-bin-hadoop2.7.tgz

$ sudo tar zxvf spark-3.0.0-preview2-bin-hadoop2.7.tgz -C /usr/local

下载后同样, 也解压到 /usr/local 文件夹

Spark 也需要配置相应的环境变量: (同配置 JDK 一样, 根据你使用的是 bash 还是 zsh, 配置环境变量到不同的文件中)

# spark

export SPARK_HOME=/usr/local/spark

export PATH=$PATH:$SPARK_HOME/bin

配置完成后, 在命令行输入如下命令看看是否能成功运行:

$ pyspark

Python 2.7.16 (default, Oct 10 2019, 22:02:15)

[GCC 8.3.0] on linux2

Type "help", "copyright", "credits" or "license" for more information.

20/03/02 15:21:23 WARN Utils: Your hostname, debian-wyb resolves to a loopback address: 127.0.1.1; using 10.0.2.15 instead (on interface enp0s3)

20/03/02 15:21:23 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address

20/03/02 15:21:23 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties

Setting default log level to "WARN".

To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).

/usr/local/spark/python/pyspark/context.py:219: DeprecationWarning: Support for Python 2 and Python 3 prior to version 3.6 is deprecated as of Spark 3.0. See also the plan for dropping Python 2 support at https://spark.apache.org/news/plan-for-dropping-python-2-support.html.

  DeprecationWarning)

Welcome to

      ____              __

     / __/__  ___ _____/ /__

    _\ \/ _ \/ _ `/ __/  '_/

   /__ / .__/\_,_/_/ /_/\_\   version 3.0.0-preview2

      /_/

Using Python version 2.7.16 (default, Oct 10 2019 22:02:15)

SparkSession available as 'spark'.

注 这里的 pyspark 使用的 2.x 版本的 python, 后续我们配置了 python 环境之后, 会在 python3 下开发

python 环境配置

Debian10 系统中自带了 python2 和 python3 的环境, 为了不影响现有系统的默认环境, 我们安装 virtualenv 来使用 spark

首先, 安装 virtualenv, 并生成一个独立的 python3 环境

$ pip3 install virtualenv

$ virtualenv py3-vm

启动 py3-vm, 并在其中安装 pyspark, 开发 spark 的示例

$ source ./py3-vm/bin/activate

$ pip install pyspark

$ pip install findspark

退出上面的 py3-vm, 使用如下命令:

$ deactive

Spark 使用示例

上述环境都配置之后, 下面用一个简单的例子来尝试 spark 的 API 强大之处. 我们构造一个订单统计的例子:

  1. 数据源: csv 格式的订单文件, 每行 3 个信息, 订单号(不重复), 店铺名称, 订单金额
  2. 订单数统计: 按照店铺统计订单数
  3. 订单金额统计: 按照店铺统计订单金额

示例代码 (order_stat.py)

 1  import findspark

 2

 3  findspark.init()

 4

 5  if __name__ == "__main__":

 6      from pyspark.sql import SparkSession

 7      from pyspark.sql.functions import *

 8

 9      spark = SparkSession\

10          .builder\

11          .appName('order stat')\

12          .getOrCreate()

13

14      lines = spark.read.csv("./orders.csv",

15                             sep=",",

16                             schema="order INT, shop STRING, price DOUBLE")

17

18      # 统计各个店铺的订单数

19      orderCounts = lines.groupBy('shop').count()

20      orderCounts.show()

21

22      # 统计各个店铺的订单金额

23      shopPrices = lines.groupBy('shop').sum('price')

24      shopPrices.show()

25

26      spark.stop()

测试用的 csv 文件内容 (orders.csv)

1,京东,10.0

2,京东,20.0

3,天猫,21.0

4,京东,22.0

5,天猫,11.0

6,京东,22.0

7,天猫,23.0

8,天猫,24.0

9,天猫,40.0

10,天猫,70.0

11,天猫,10.0

12,天猫,20.0

运行结果

$ python order_stat.py

20/03/02 17:40:50 WARN Utils: Your hostname, debian-wyb resolves to a loopback address: 127.0.1.1; using 10.0.2.15 instead (on interface enp0s3)

20/03/02 17:40:50 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address

20/03/02 17:40:50 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties

Setting default log level to "WARN".

To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).

+----|-----+

|shop|count|

+----|-----+

|京东|    4|

|天猫|    8|

+----|-----+

+----|----------+

|shop|sum(price)|

+----|----------+

|京东|      74.0|

|天猫|     219.0|

+----|----------+

相关文章