Spark Streaming揭秘 Day11
Receiver Tracker的具体实现
ReceiverTracker是运行在Driver上Receiver管理程序，今天让我们深入学习一下。
核心：ReceivedBlockTracker
通过阅读代码，我们会发现ReceiverTracker中最为重要的是其中的成员ReceivedBlockTracker，主要存放实际的Block数据,这是一个典型的facade模式的实现。
数据结构：两个Map
在ReceivedBlockTracker中，最为关键的是以下两个数据结构：
这三个结构代表了ReceiverBlockTracker处理数据的生命周期：
streamIdToUnallocatedBlockQueues以streamId(表示单个Receiver)将收到的Block聚集在一个队列中，供后续处理。
timeToAllocatedBlocks以批次为单位，将Block进行汇总，供后续运算使用
对这两个数据结构，主要是同一个两个方法来操作：
addBlock方法主要将数据存入streamIdToUnallocatedBlockQueues，在这里出现了WAL机制，我们明天会介绍。
allocateBlocksToBatch根据时间需要，将block分配给batch
需要注意的是，这个方法是在JobGenerator中调用的
与上一日内容相串联，我们可以形成数据管理的全貌。
欲知后事如何，且听下回分解
DT大数据每天晚上20：00YY频道现场授课频道68917580