HBase、HDFS和MapReduce架构异同简解

HBase、HDFS和MapReduce架构异同

..	HBase（公司架构模型）	HDFS2.0（公司架构模型）	MR2.0（公司架构模型）	MR1.0（公司架构模型）
中央	HMaster	NameNode(NN)	ResourceManger(RM)	JobTracker(JT)
地方	HRegionServer(HRS)	DataNode(DN)	NodeManager(NM)	TaskTracker(TT)
监控协调者	ZooKeeper	ZooKeeper	ZooKeeper	无
是否有HA	HMaster-backups	NN（Standby）	RM（Standby）	无，存在单点故障
故障转移方式	1.HMaster与ZooKeeper直接通讯（谁先建立znode，则谁为active） 2.HRegionServer与ZooKeeper直接通讯	NM不与ZooKeeper直接通讯，ZKFC监控NM状态，ZKFC与ZK通讯，由ZKFC来参与选举（谁先建立znode，则谁为active）	RM直接与ZK直接通讯，谁先建立znode，则谁为active	无，存在单点故障
地方故障谁负责恢复和转移	HMaster	NameNode	ResourceManager	JobTracker
中央与地方的通讯	HRegionServer与ZK心跳，HMaster从ZK获取HRS状态	DN周期性向NN汇报	NM周期性向RM汇报	TT周期性向JT汇报
中央的共同职责	1. 负责地方任务的分配和故障转移 2. 监听地方的健康状态（HMaster从ZooKeeper获取HRegionServer的状态） 3. 地方资源的分配

|中央各特点|分配HRegionServer上的Region	|分配DN的block	|分配NM上container上的任务|	分配TaskTracker上的task|

|负载均衡 |HRS上region的负载均衡 |block的负载均衡|||
|特点|
1.Region的预分区、分裂和合并
2.Compaction机制
3.WAL机制
4.读写流程 |
1.副本策略
2.数据写入的副本管道传输机制
3.联邦制|
1.资源调度和应用管理独立进程
2.NM上节点资源由NM管理，ApplicationManager和 AppliactionMaster管理任务
3.container概念|
1.将资源划分为等量以slot为单位
2.maptask和reducetask独立分配