Hive SQL语句的正确执行顺序

上面这个执行顺序到底对不对呢，我们可以通过 explain 执行计划来看下，内容过多，我们分阶段来看。

1. 首先看下 sql 语句的执行依赖：

我们看到 Stage-5 是根，也就是最先执行 Stage-5，Stage-2 依赖 Stage-5，Stage-0 依赖 Stage-2。

2. 首先执行 Stage-5：

图中标 ① 处是表扫描操作，注意先扫描的 b 表，也就是 left join 后面的表，然后进行过滤操作（图中标 ② 处），我们 sql 语句中是对 a 表进行的过滤，但是 Hive 也会自动对 b 表进行相同的过滤操作，这样可以减少关联的数据量。

3. 接下来执行 Stage-2：

• 首先是 Map 端操作：

先扫描 a 表（图中标 ① 处）；接下来进行过滤操作 idno > '112233'（图中标 ② 处）；然后进行 left join，关联的 key 是 idno（图中标 ③ 处）；执行完关联操作之后会进行输出操作，输出的是三个字段，包括 select 的两个字段加 group by 的一个字段（图中标 ④ 处）；然后进行 group by 操作，分组方式是 hash（图中标 ⑤ 处）；然后进行排序操作，按照 idno 进行正向排序（图中标 ⑥ 处）。

• 然后是 Reduce 端操作：

首先进行 group by 操作，注意此时的分组方式是 mergepartial 合并分组（图中标 ① 处）；然后进行 select 操作，此时输出的字段只有两个了，输出的行数是 30304 行（图中标 ② 处）；接下来执行 having 的过滤操作，过滤出 count_user>1 的字段，输出的行数是 10101 行（图中标 ③ 处）；然后进行 limit 限制输出的行数（图中标 ④ 处）；图中标 ⑤ 处表示是否对文件压缩，false 不压缩。

执行计划中的数据量只是预测的数据量，不是真实运行的，所以数据可能不准！

4. 最后是 Stage-0 阶段：

限制最终输出的行数为 10 行。

总结

通过上面对 SQL 执行计划的分析，总结以下几点：

1. 每个 stage 都是一个独立的 MR，复杂的 hive sql 语句可以产生多个 stage，可以通过执行计划的描述，看看具体步骤是什么。

2. 对于 group by 的 key，必须是表中的字段，对于 having 的 key，必须是 select 的字段。

3. order by 是在 select 后执行的，所以 order by 的 key 必须是 select 的字段。

4. select 最好指明字段，select * 会增加很多不必要的消耗（CPU、IO、内存、网络带宽）。