2020年7月19日
MapReduce之MapTask工作机制
摘要： 1. 阶段定义 MapTask：map >sort map：Mapper.map()中将输出的key-value写出之前 sort：Mapper.map()中将输出的key-value写出之后 2. MapTask工作机制 Read阶段 MapTask通过用户编写的RecordReader，从输入I 阅读全文
posted @ 2020-07-19 22:24 孙晨c 阅读(194) 评论(0) 推荐(0) 编辑
MapReduce之自定义InputFormat
摘要： 在企业开发中，Hadoop框架自带的InputFormat类型不能满足所有应用场景，需要自定义InputFormat来解决实际问题。 自定义InputFormat步骤如下： （1）自定义一个类继承FilelnputFormat。 （2）自定义一个类继承RecordReader，实现一次读取一个完整文 阅读全文
posted @ 2020-07-19 14:43 孙晨c 阅读(486) 评论(0) 推荐(1) 编辑