图解系列之轻松学习 Spark(适合小白学习)

时间:2022-05-18 23:25:06
【文件属性】:

文件名称:图解系列之轻松学习 Spark(适合小白学习)

文件大小:5.97MB

文件格式:PDF

更新时间:2022-05-18 23:25:06

spark 文档资料 大数据 big data

对 Spark 入门学习中核心知识点的梳理,对知识点的讲解秉承着能用图解方式的,就不照本宣科地陈述,力求精简、通俗易懂。希望能为新手的入门学习扫清障碍,从基础概念入手、 再到原理深入,由浅入深地掌握 Spark。 Spark 不仅能够在内存中进行高效运算,还是一个大一统的软件栈,可以适用于各种各样原本需要多 种不同的分布式平台的场景。 Spark 作为一个用来快速实现大规模数据计算的通用分布式大数据计算引擎,是大数据开发工程师必 备的一项技术栈。Spark 相对 Hadoop 具有较大优势,但 Spark 并不能完全替代 Hadoop。 实际上,Spark 已经很好地融入了 Hadoop 家族,作为其中一员,主要用于替代 Hadoop 中的 MapReduce 计算模型。 Spark 拥有 Hadoop MapReduce 所具备的优点,但不同的是,Hadoop 每次经过 job 执行的中间结 果都会存储在 HDFS 上,而 Spark 执行 job 的中间过程数据可以直接保存在内存中,无需读写到 HDFS磁盘上。因为内存的读写速度与磁盘的读写速度不在一个数量级上。


网友评论