2019年8月9日
spark shuffle读操作
摘要： 提出问题 1. shuffle过程的数据是如何传输过来的，是按文件来传输，还是只传输该reduce对应在文件中的那部分数据？ 2. shuffle读过程是否有溢出操作？是如何处理的？ 3. shuffle读过程是否可以排序、聚合？是如何做的？ 。。。。。。 概述 在 spark shuffle的写操 阅读全文
posted @ 2019-08-09 20:25 JohnnyBai 阅读(1728) 评论(5) 推荐(3) 编辑