2020年10月9日
MapReduce怎么优雅地实现全局排序
摘要： 想到全局排序，是否第一想到的是，从map端收集数据，shuffle到reduce来，设置一个reduce，再对reduce中的数据排序，显然这样和单机器并没有什么区别，要知道mapreduce框架默认是对key来排序的，当然也可以将value放到key上面来达到对value排序，最后在reduce时候对调回去，另外排序是针对相同分区，即一个reduce来排序的，这样其实也不能充分运用到集群的并行，那么如何更优雅地实现全局排序呢？ 阅读全文
posted @ 2020-10-09 18:04 Hoult丶吴邪 阅读(247) 评论(0) 推荐(0) 编辑