SparkCore:Spark核心分析,主要包含SparkContext源码,执行程序启动,阶段划分,任务执行和Spark2.0的新特性

时间:2024-02-26 17:14:48
【文件属性】:

文件名称:SparkCore:Spark核心分析,主要包含SparkContext源码,执行程序启动,阶段划分,任务执行和Spark2.0的新特性

文件大小:24.09MB

文件格式:ZIP

更新时间:2024-02-26 17:14:48

scala spark sparkcore spark-learning ScalaScala

Spark(基于1.3.1)源码分析 主要针对于Spark源码分析,对于比较重要的方法和代码,有注释,在熟悉的Spark源码之前,首先必须了解Akka的通信, 如果不了解的可以看一下我的Demo,单击此处 ,这里主要进行的源码分析是:Spark重新启动的脚本,Spark作业 提交的脚本,Spark作业提交中SparkContext,Spark中SparkContext,执行器进程启动的流程和结合简单的WordCount 程序对于RDD执行流程进行剖析以及进行阶段划分分析和任务提交,最后也包含Spark2.0的新特性。 启动的脚本 在分析源代码以前,需要首先了解Spark启动脚本做了什么?如果了


网友评论