2018年9月12日
Spark Shuffle原理、Shuffle操作问题解决和参数调优
摘要： 1 shuffle原理 1.1 mapreduce的shuffle原理 1.1.1 map task端操作 1.1.2 reduce task端操作 1.2 spark现在的SortShuffleManager 2 Shuffle操作问题解决 2.1 数据倾斜原理 2.2 数据倾斜问题发现与解决 2 阅读全文
posted @ 2018-09-12 16:55 -加勒比海带 阅读(5808) 评论(0) 推荐(0) 编辑