Hive中的4种Join方式

common join

普通join,性能较差,存在Shuffle

 

map join

适用情况:大表join小表时,做不等值join
原理:将小表数据广播到各个节点,存储在内存中,在map阶段直接join,不需要进行reduce,没有了shuffle
优点:性能大大提高
限制:小表需要在内存中放的下
 
eg:
select a.start_level, b.*
from dim_level a
join (select * from test) b
where b.xx>=a.start_level and b.xx<end_level;


PS:下列说法均已过期,现已不存在
1)小表在前,大表之后 Hive 0.6之后就可以自动识别,前后无所谓
2) 需要使用使 /*+mapjoin(map_table) / 提示 Hive0.11后会将满足相关参数的Join自动转为map join,无需显示标注,标注也行

bucket map join

适用情况:分桶表join
原理:类似map join,不过只需要内存加载对应的小表分桶就可以
优点:性能大大提高
限制:
  1. 内存能加载小表最大hash块
  2. A表桶数和B表桶数成倍数关系    ----由分桶策略决定,不成倍数关系则无法保证对应关系
  3. 分桶字段==join字段 

SMB(Sort-Merge-Buket) Join

适用情况:大表join大表
原理:桶中的数据基于分桶字段排序后,可以将每个桶对应连接转化为归并排序,进一步提高join效率,将bucket map oin升级为Sort-Merage-bucket join
限制:
  1. 排序字段==分桶字段==join字段
  2. set hive.optimize.bucketmapjoin.sortedmerge = true;
posted @ 2021-08-31 16:40  梦里繁花  阅读(676)  评论(0编辑  收藏  举报