2020年9月14日
Spark(八)【利用广播小表实现join避免Shuffle】
摘要： 使用场景 大表join小表 只能广播小表 普通的join是会走shuffle过程的，而一旦shuffle，就相当于会将相同key的数据拉取到一个shuffle read task中再进行join，此时就是reduce join。但是如果一个RDD是比较小的，则可以采用广播小RDD全量数据+map算子 阅读全文
posted @ 2020-09-14 18:19 来自遥远的水星 阅读(2765) 评论(0) 推荐(0) 编辑