常见hql底层执行原理

1、join

SELECT pv.pageid, u.age FROM page_view pv JOIN user u ON pv.userid = u.userid;

实现过程:

Map:

  1、以 JOIN ON 条件中的列作为 Key,如果有多个列,则 Key 是这些列的组合。(key=on条件

  2、以 JOIN 要查询的的列作为 Value,当有多个列时,Value 是这些列的组合。在 Value 中还会包含表的 Tag 信息,用于标明此 Value 对应于哪个表。(value=查询列+tag

  3、按照 Key 进行排序

Shuffle:

  1、根据 Key 的值进行 Hash,并将 Key/Value 对按照 Hash 值推至不同对 Reduce 中

Reduce:

  1、 Reducer 根据 Key 值进行 Join 操作,并且通过 Tag 来识别不同的表中的数据

 

2、Group By

SELECT pageid, age, count(1) FROM pv_users GROUP BY pageid, age; 

实现过程:

 

3、Distinct

SELECT age, count(distinct pageid) FROM pv_users GROUP BY age;

 

posted @   guoyu1  阅读(615)  评论(0编辑  收藏  举报
编辑推荐:
· AI与.NET技术实操系列(二):开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析
阅读排行:
· 全程不用写代码,我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· .NET10 - 预览版1新功能体验(一)
点击右上角即可分享
微信分享提示