2018年11月6日
hadoop的shuffle和排序
摘要： shuffle和排序 Shuffle阶段分为两部分:Map端和Reduce端。 一 map端shuffle过程； 1-内存预排序：默认每个map有100M内存进行预排序（为了效率），超过阈值，会把内容写到磁盘； 此过程使用快速排序算法； 2-根据key和reducer的数量进行分区和排序；首先根据数 阅读全文
posted @ 2018-11-06 22:12 上海小墨子 阅读(1027) 评论(0) 推荐(0) 编辑