摘要: 正如我们所知,Hadoop 集群的元数据信息存放在NameNode 的内存中,当集群扩大到一定的规模之后,NameNode 内存中存放的元数据信息可能会非常大。由于HDFS 的所有操作都会和NameNode 进行交互,当集群很大时,NameNode 就会成为集群的瓶颈。为了解决该问题,Hadoop2 阅读全文
posted @ 2019-01-10 22:42 LakeInMyHeart 阅读(277) 评论(0) 推荐(0) 编辑
摘要: 在Hadoop 中,HDFS NameNode 所处的位置是非常重要的,整个HDFS文件系统的元数据信息都由NameNode 来管理,NameNode的可用性直接决定了Hadoop 的可用性,一旦NameNode进程不能工作了,就会影响整个集群的正常使用。 HDFS NameNode 高可用机制 在 阅读全文
posted @ 2019-01-10 21:48 LakeInMyHeart 阅读(2135) 评论(0) 推荐(0) 编辑
摘要: YARN 的高可用:ResourceManager : 基于Zookeeper 实现高可用机制,避免单点故障。 NodeManager: 执行失败之后,ResourceManager 将失败任务告诉对应的ApplicationMaster , 由ApplicationMaster 来决定如何处理失败 阅读全文
posted @ 2019-01-10 16:45 LakeInMyHeart 阅读(2339) 评论(0) 推荐(0) 编辑