2017年10月18日
【Hadoop】Combiner的本质是迷你的reducer，不能随意使用
摘要： 问题提出： 众所周知，Hadoop框架使用Mapper将数据处理成一个<key,value>键值对，再网络节点间对其进行整理(shuffle)，然后使用Reducer处理数据并进行最终输出。 在上述过程中，我们看到至少两个性能瓶颈：（引用） 目标： Mapreduce中的Combiner就是为了避免 阅读全文
posted @ 2017-10-18 11:37 junneyang 阅读(573) 评论(0) 推荐(0) 编辑