2020年2月4日
spark源码之Shuffle Read
摘要： Shuffle Read 对于每个stage来说，它的上边界，要么从外部存储读取数据，要么读取上一个stage的输出。而下边界要么是写入到本地文件系统(需要有shuffle)，一共child stage进行读取，要么就是最后一个stage，需要输出结果。这里的stage在运行时就可以以流水线的方式进 阅读全文
posted @ 2020-02-04 20:16 郭小白 阅读(1397) 评论(0) 推荐(0) 编辑