HBase、HDFS和MapReduce架构异同简解

HBase、HDFS和MapReduce架构异同

..	HBase（公司架构模型）	HDFS2.0（公司架构模型）	MR2.0（公司架构模型）	MR1.0（公司架构模型）
*	HMaster	NameNode(NN)	ResourceManger(RM)	JobTracker(JT)
地方	HRegionServer(HRS)	DataNode(DN)	NodeManager(NM)	TaskTracker(TT)
监控协调者	ZooKeeper	ZooKeeper	ZooKeeper	无
是否有HA	HMaster-backups	NN（Standby）	RM（Standby）	无，存在单点故障
故障转移方式	1.HMaster与ZooKeeper直接通讯（谁先建立znode，则谁为active） 2.HRegionServer与ZooKeeper直接通讯	NM不与ZooKeeper直接通讯，ZKFC监控NM状态，ZKFC与ZK通讯，由ZKFC来参与选举（谁先建立znode，则谁为active）	RM直接与ZK直接通讯，谁先建立znode，则谁为active	无，存在单点故障
地方故障谁负责恢复和转移	HMaster	NameNode	ResourceManager	JobTracker
*与地方的通讯	HRegionServer与ZK心跳，HMaster从ZK获取HRS状态	DN周期性向NN汇报	NM周期性向RM汇报	TT周期性向JT汇报
*的共同职责	1. 负责地方任务的分配和故障转移 2. 监听地方的健康状态（HMaster从ZooKeeper获取HRegionServer的状态） 3. 地方资源的分配
*各特点	分配HRegionServer上的Region	分配DN的block	分配NM上container上的任务	分配TaskTracker上的task
负载均衡	HRS上region的负载均衡	block的负载均衡
特点	1.Region的预分区、分裂和合并 2.Compaction机制 3.WAL机制 4.读写流程	1.副本策略 2.数据写入的副本管道传输机制 3.联邦制	1.资源调度和应用管理独立进程 2.NM上节点资源由NM管理，ApplicationManager和 AppliactionMaster管理任务 3.container概念	1.将资源划分为等量以slot为单位 2.maptask和reducetask独立分配