2019年3月24日
【Spark调优】小表join大表数据倾斜解决方案
摘要： 【使用场景】 对RDD使用join类操作，或者是在Spark SQL中使用join语句时，而且join操作中的一个RDD或表的数据量比较小（例如几百MB或者1~2GB），比较适用此方案。 【解决方案】 小表join大表转为小表broadcast+map大表实现。具体为： 普通的join是会shuff 阅读全文
posted @ 2019-03-24 00:23 wwcom123 阅读(12165) 评论(0) 推荐(3) 编辑