2016年4月26日

25,Spark Sort-Based Shuffle内幕彻底解密
摘要： 一：为什么需要Sort-Based Shuffle? 1， Shuffle一般包含两个阶段任务： 第一部分：产生Shuffle数据的阶段(Map阶段，额外补充，需要实现ShuffleManager中的getWriter来写数据(数据可以通过BlockManager写到Memory，Disk，Tach 阅读全文
posted @ 2016-04-26 20:51 听风居士 阅读(887) 评论(0) 推荐(0) 编辑

导航