hive union all 的烦恼

谨记:union all 只检查前后表的字段类型在顺序上一致,不会检查别称是否一致

 

愚蠢的处理:

昨天,重另一个哥们接过一段SQL(SQL篇幅很大),需要在一天内将该段SQL的逻辑移植更换我现有的简单处理,草草看过SQL,然后干别的事情去了。

半天后,稍稍整理了一下那段SQL,发现通过抽层,可以很好的把这段SQL嵌入到我现有的代码,SQL改动不大。一顿修改,很快可以执行成功了。

于是,简单的补了几天数据,就给测试了。

 

结果。。。数据误差很大。。。

 

检查了半天逻辑,完全没有问题,compare了两个版本SQL,也没有太多误差。。。

纳闷,union all ,仔细比较union all 前后数据,结果,发现我的数据刚好等于原有逻辑的前表。

那么是后表不见了。。。

后表,开始检查后表,逻辑没有问题,单独执行存在数据

仔细比较字段,顺序不同。。。

是的,,,union all的前后表字段顺序应该保持一致。

一切的记忆都开始回来的,这个问题希望不要再犯傻了

posted @ 2019-06-11 15:52  冬临  阅读(3586)  评论(0编辑  收藏  举报