2018年11月18日
spark浅谈(3):
摘要： 一、shuffle操作 1.spark中特定的操作会触发我们都知道的shuffle事件，shuffle是spark进行数据重新分布的机制，这通常涉及跨执行程序和机器来赋值数据，使得混洗称为复杂而且昂贵的操作。 2.为了理解shuffle过程中所发生的事情，我们先来关注reduceByKey操作的例子 阅读全文
posted @ 2018-11-18 14:25 stone1234567890 阅读(194) 评论(0) 推荐(0) 编辑