Spark2.2版本内核源码深度剖析(完整笔记)

时间:2022-05-20 12:00:16
【文件属性】:

文件名称:Spark2.2版本内核源码深度剖析(完整笔记)

文件大小:1.24MB

文件格式:ZIP

更新时间:2022-05-20 12:00:16

笔记

spark2.2是一个里程碑的版本,因为之前的版本很多特性都是实验性的,所以2.2是第一个真正完全可以把Spark的所有特性在生产环境中时候用的版本。 笔记的含金量集结了整个spark2.2源码的精华,不会多一点延伸内容,因为我们读源码是为了在性能调试以及线上故障的时候能够快速看懂log日志,然后准确找到问题根源,是修改程序代码还是调整配置,所以笔记不会把一个言简意赅的东西说那么复杂,因为不是出书;当然也不会少一点整个spark内核架构,只要干这一行掌握的关键源码知识都会含在笔记里。


【文件预览】:
3,基于Yarn的两种提交模式深度剖析.html
4,SparkContext原理剖析与源码分析.html
16-1,BlockManager原理剖析_files
----BlockManager原理剖析.png(67KB)
3,基于Yarn的两种提交模式深度剖析_files
----基于YARN的两种提交模式深度剖析.png(55KB)
----Image.png(145KB)
4,SparkContext原理剖析与源码分析_files
----SparkContext原理剖析.png(44KB)
18-1,Checkpoint原理剖析.html
0,目录入口:Spark内核源码深度剖析_index.html
6,Master注册机制原理剖析与源码分析.html
13,Executor原理剖析与源码分析.html
7,Master状态改变处理机制原理剖析与源码分析.html
14,Task原理剖析与源码分析_files
----Task原理剖析.png(37KB)
11-1,DAGScheduler原理剖析:stage划分算法原理剖析.html
11-2,DAGScheduler源码分析(stage划分算法、task最佳位置计算算法).html
15-2,优化后的Shuffle操作的原理剖析.html
5,Master主备切换机制原理剖析与源码分析_files
----主备切换机制原理剖析.png(51KB)
16-2,BlockManager源码剖析中.html
9,Worker原理剖析与源码分析.html
16-1,BlockManager原理剖析.html
18-2,Checkpoint源码剖析.html
5,Master主备切换机制原理剖析与源码分析.html
9,Worker原理剖析与源码分析_files
----Worker原理剖析.png(31KB)
1,Spark内核源码深度剖析.html
15-1,普通Shuffle操作的原理剖析.html
11-1,DAGScheduler原理剖析:stage划分算法原理剖析_files
----Image.png(113KB)
----stage划分算法原理剖析.png(55KB)
17-2,CacheManager源码剖析.html
17-1,CacheManager原理剖析_files
----CacheManager原理剖析.png(43KB)
2,宽依赖和窄依赖深度剖析.html
8,Master资源调度算法原理剖析与源码分析.html
15-3,Shuffle读写源码分析.html
17-1,CacheManager原理剖析.html
14,Task原理剖析与源码分析.html
15-1,普通Shuffle操作的原理剖析_files
----普通的Shuffle操作原理剖析.png(62KB)
1,Spark内核源码深度剖析_files
----Spark内核架构深度剖析.png(78KB)
2,宽依赖和窄依赖深度剖析_files
----宽依赖和窄依赖深度剖析.png(56KB)
10,job触发流程原理剖析与源码分析.html
15-2,优化后的Shuffle操作的原理剖析_files
----优化后的Shuffle原理剖析.png(57KB)
16-2,BlockManager源码剖析上.html
8,Master资源调度算法原理剖析与源码分析_files
----Image.png(156KB)
13,Executor原理剖析与源码分析_files
----Executor原理剖析.png(23KB)
18-1,Checkpoint原理剖析_files
----Checkpoint原理剖析.png(69KB)
12,TaskScheduler原理剖析与源码分析.html
6,Master注册机制原理剖析与源码分析_files
----注册机制原理剖析.png(42KB)
16-2,BlockManager源码剖析下.html

网友评论

  • 总结的还可以