摘要: 原文地址:Hadoop Mapreduce分区、分组、二次排序过程详解[转]作者: 徐海蛟 教学用途1、MapReduce中数据流动 (1)最简单的过程: map - reduce (2)定制了partitioner以将map的结果送往指定reducer的过程: map - partition -  阅读全文
posted @ 2016-09-26 19:58 hadoop_dev 阅读(6303) 评论(0) 推荐(2) 编辑
摘要: 名字节点(NameNode )是HDFS主从结构中主节点上运行的主要进程,它指导主从结构中的从节点,数据节点(DataNode)执行底层的I/O任务。 名字节点是HDFS的书记员,维护着整个文件系统的文件目录树,文件/目录的元信息和文件的数据块索引,即每个文件对应的数据块列表(后面的讨论中,上述关系 阅读全文
posted @ 2016-09-26 17:55 hadoop_dev 阅读(11251) 评论(0) 推荐(0) 编辑