Spark 存储管理之BlockManger
[睡着的水-hzjs-2016.08.24]
一、BlockManager 运行
1、在Application 启动的时候会在SparkEnv 中注册 BlockManagerMaster以及MapOUtputTracher,其中：
# a、 BlockManagerMaster：对整个集群的Block数据进行管理的；
# b、MapOutputTrackerMaster:跟踪所有的mapper的输出的
2、BlockManagerMasterEndpoint 本身是一个消息体，会负责通过远程消息通信的方式去管理所有节点的BlockManager;
3、没启动一个ExecutorBackend 都会实力哈UBlockManager 并通过远程通信的方式注册给BlockManagerMaster;实质上是Executor中的BlockManager在启动的时候注册给了Dirver 的BlockManagerMasterEndpoint;
4、MemoryStore 是BlockManager中专门负责内存数据存储和读写的类；
5、DiskStore:是BlockManager中专门负责基于磁盘的数据存储和读写的类；
6、DiskBlockManager :管理Logical Block与Disk 上的Physical Block 之间的映射关系并负责磁盘文件的创建，读写等；
# 从Job 运行的角度来观察BlockManager:
1、首先通过MemoryStore 才存储广播变量；
2、在Driver中通过BlockManagerInfo 来管理集群中每个ExecutorBackend 中的BlockManager 中的元数据信息的；
3、当改变具体的ExecutorBackend上的Block 信息后就必须发消息给Driver 中的BlockManagerMaster 来更新相应的BlockManagerInfo;
4、当执行第二个Stage的时候，第二个Stage 会向Driver中的MapOutputTracherMasterEndpoint 发消息请求上一个Stage中相应的输出，此时MapOutputTrackerMaster会把上一个Stage 的输出数据信息发送给当前请求的Stage;
