5.MR(2)

4.输出数据outputformat

接口实现类

5.mapreduce内核源码解析

5.1.maptask工作机制

(1)read阶段:maptask通过inputformat获得的recordreader,从输出 inputsplit中解析一个个key/value

5.2.reducetask工作机制

5.3.reducetask并行度决定机制

6.join

6.1.reduce join

6.2.map join

7.数据清洗etl

8.mapreduce开发总结

posted @ 2024-09-10 01:03  dededea  阅读(4)  评论(0编辑  收藏  举报