2017年9月6日
spark shuffle原理
摘要： 1.spark中窄依赖的时候不需要shuffle，只有宽依赖的时候需要shuffle，mapreduce中map到reduce必须经过shuffle 2.spark中的shuffle fetch的时候进行merge操作利用aggregator来进行，实际上是个hashmap，放在内存中 第一个 Ma 阅读全文
posted @ 2017-09-06 13:02 fisherinbox 阅读(402) 评论(0) 推荐(0) 编辑