文件名称:SparkCore:Spark核心分析,主要包含SparkContext源码,执行程序启动,阶段划分,任务执行和Spark2.0的新特性
文件大小:24.09MB
文件格式:ZIP
更新时间:2024-02-26 17:14:48
scala spark sparkcore spark-learning ScalaScala
Spark(基于1.3.1)源码分析 主要针对于Spark源码分析,对于比较重要的方法和代码,有注释,在熟悉的Spark源码之前,首先必须了解Akka的通信, 如果不了解的可以看一下我的Demo,单击此处 ,这里主要进行的源码分析是:Spark重新启动的脚本,Spark作业 提交的脚本,Spark作业提交中SparkContext,Spark中SparkContext,执行器进程启动的流程和结合简单的WordCount 程序对于RDD执行流程进行剖析以及进行阶段划分分析和任务提交,最后也包含Spark2.0的新特性。 启动的脚本 在分析源代码以前,需要首先了解Spark启动脚本做了什么?如果了