2017年10月23日
Spark- Spark普通Shuffle操作的原理剖析
摘要： 在spark中，什么情况下会发生shuffle？ reduceByKey，groupByKey，sortByKey，countByKey，join，cogroup等操作。 默认的shuffle操作的原理剖析 假设有一个节点上面运行了4个 ShuffleMapTask，然后这个节点上只有2个 cpu 阅读全文
posted @ 2017-10-23 21:20 RZ_Lee 阅读(338) 评论(0) 推荐(0) 编辑