2019年3月21日
【Spark调优】数据倾斜及排查
摘要： 【数据倾斜及调优概述】 大数据分布式计算中一个常见的棘手问题——数据倾斜： 在进行shuffle的时候，必须将各个节点上相同的key拉取到某个节点上的一个task来进行处理，比如按照key进行聚合或join等操作。此时如果某个key对应的数据量特别大的话，就会发生数据倾斜。比如大部分key对应10条 阅读全文
posted @ 2019-03-21 22:39 wwcom123 阅读(3332) 评论(0) 推荐(0) 编辑