2014年9月2日
combiner中使用状态模式
摘要： mapreduce中的combine过程hadoop的map过程执行完成后，每一个map都可能会产生大量的本地输出，Combiner的作用就是对map端的输出先做一次合并，减少在map和reduce节点之间的数据传输量，提高网络I/O性能。 Combiner最基本的就是实现本地key的聚合... 阅读全文
posted @ 2014-09-02 13:38 clamaa 阅读(484) 评论(1) 推荐(0) 编辑