2019年8月27日
Spark的Shuffle
摘要： 0. Shuffle概述 要理解什么是Shuffle，首先介绍大数据与分布式。我们知道大数据的存储是分布式存储，大数据的计算框架是分布式的计算框架。分布式必然存在数据的交互传输，简言之Shuffle就是分布式中数据交互传输的过程。 如下图所示，Stage 0的输出数据需要经过shuffle Writ 阅读全文
posted @ 2019-08-27 15:01 北辰Root 阅读(247) 评论(0) 推荐(0) 编辑