Spark学习（一） -- Spark安装及简介

时间：2023-12-11 16:28:44

标签（空格分隔）： Spark

学习中的知识点：函数式编程、泛型编程、面向对象、并行编程。

任何工具的产生都会涉及这几个问题：

  1. 现实问题是什么？
  2. 理论模型的提出。
  3. 工程实现。

思考： 数据规模达到一台机器无法处理的时候，如何在有限的时间内对整个数据集进行遍历及分析？

Google针对大数据问题提出的一些解决方案：

  • MapReduce： 计算框架；
  • GFS：数据存储
  • BigTable：NoSQL始祖。

Hadoop是根据MapReduce和GFS两大论文所做的开源实现，因此，它主要解决2大问题：数据存储，分布式计算框架。

Spark学习（一） -- Spark安装及简介

YARN是Hadoop2和Hadoop1的最大区别，将集群管理本身独立出来。而计算模型则更加专注于问题本身。

Spark简介

Spark是由UC Berkeley的AMPLab出品的，主要创作者是Matei Zaharia. Spark与MapReduce位于Hadoop生态圈的同一层，主要解决分布式计算框架的问题。

Spark与Hadoop有以下关系：

  1. Spark和Hadoop中的MapReduce位于同一层次；
  2. Spark可以部署在YARN（专门管理集群工作的）上；
  3. Spark支持HDFS文件系统的访问。

Mac Scala安装

  1. 使用brew安装：

    brew install scala

  2. 下载包安装

    tar zxvf ~/Download/scala-2.12.1.tgz #解压

    mv ~/Download/scala-2.12.1 ~/Download/scala #重命名

    mv ~/Download/scala /usr/local/share/ #将文件夹放到合适的位置

    修改环境变量，如果不是管理员可使用 sudo 进入管理员权限，修改配置文件profile，在文件的末尾加入：

    export PATH="$PATH:/usr/local/share/scala/bin"

  3. 验证

    $ scala

    显示：Welcome to Scala version 2.11.6 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_40).

    Type in expressions to have them evaluated.

    Type :help for more information.

Mac Spark安装

  1. 使用brew安装

    $ brew install apache-spark

  2. 检测是否安装成功

  • cd /usr/local/Cellar/apache-spark/1.3.0/bin/
  • 输入：./spark-shell 启动spark

WordCount in spark-shell

在spark-shell中完成单词统计：

val file = sc.textFile("/usr/local/Cellar/apache-spark/1.3.0/README.md")

// 以空格为拆分标志，将文件中的每一行分割为多个单词

val words = file.flatMap(line => line.split(" "))

// 对每一个单词进行计数

val wordNumber = words.map(w => (w, 1))

// 将单词进行分类合并，计算每个单词总的出现次数

val wordCounts = wordNumber.reduceByKey(_+_)

//将所有单词及其出现次数打印出来

wordsCounts.foreach(println)

上述工作的简单表述形式：

sc.textFile("/usr/local/Cellar/apache-spark/1.3.0/README.md")

.flatMap(line => line.split(" "))

.map(w => (w, 1))

.reduceByKey(_+_)

.foreach(println)

相关文章