2019年3月26日
【Spark调优】大表join大表，少数key导致数据倾斜解决方案
摘要： 【使用场景】 两个RDD进行join的时候，如果数据量都比较大，那么此时可以sample看下两个RDD中的key分布情况。如果出现数据倾斜，是因为其中某一个RDD中的少数几个key的数据量过大，而另一个RDD中的所有key都分布比较均匀，此时可以考虑采用本解决方案。 【解决方案】 【方案优点】 对于 阅读全文
posted @ 2019-03-26 00:38 wwcom123 阅读(5002) 评论(0) 推荐(0) 编辑