2019年10月17日
MapTask工作机制
摘要： 一、MapTask并行度决定机制 二、MapTask的工作机制 （1）Read阶段： Map Task通过用户编写的RecordReader，从输入InputSplit中解析出一个个key/value。 （2）Map阶段： 该节点主要是将解析出的key/value交给用户编写map()函数处理，并产 阅读全文
posted @ 2019-10-17 16:01 hyunbar 阅读(846) 评论(0) 推荐(0) 编辑
HDFS-Suffle
摘要： 一、Shuffle机制 1、官网图 2、MR确保每个Reducer的输入都是按照key排序的。系统执行排序的过程（即将Mapper输出作为输入传给Reducer）成为Shuffle 二、Partition分区 1、默认分区HashPartitioner 默认分区是根据key的hashcode对Red 阅读全文
posted @ 2019-10-17 10:31 hyunbar 阅读(183) 评论(0) 推荐(1) 编辑
HDFS-NameNode和SeconddaryNode
摘要： 一、NN和2N的工作机制 一、概述 一、概述 一、概述 一、概述 一、概述 一、概述 一、概述 阅读全文
posted @ 2019-10-17 10:19 hyunbar 阅读(235) 评论(0) 推荐(0) 编辑