摘要: http://hadoop.apache.org/docs/r2.9.0/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html 背景 在Hadoop 2.0.0以前,在一个HDFS集群中NameNode存在单点故障。每个集群 阅读全文
posted @ 2017-12-26 21:50 废物大师兄 阅读(458) 评论(0) 推荐(0) 编辑
摘要: http://hadoop.apache.org/docs/r2.9.0/hadoop-project-dist/hadoop-hdfs/Federation.html Background HDFS有两个主要的层: Namespace 由目录、文件和块组成 它支持所有的文件系统命名空间操作,比如, 阅读全文
posted @ 2017-12-26 20:50 废物大师兄 阅读(1003) 评论(0) 推荐(0) 编辑
摘要: Mapper Mapper的maps阶段将输入键值对经过计算得到中间结果键值对,框架会将中间结果按照key进行分组,然后传递给reducer以决定最终的输出。用户可以通过Job.setGroupingComparatorClass(Class)来指定一个Comparator。 Mapper的输出会被 阅读全文
posted @ 2017-12-26 12:42 废物大师兄 阅读(471) 评论(0) 推荐(0) 编辑