hive union all 的烦恼
谨记:union all 只检查前后表的字段类型在顺序上一致,不会检查别称是否一致
愚蠢的处理:
昨天,重另一个哥们接过一段SQL(SQL篇幅很大),需要在一天内将该段SQL的逻辑移植更换我现有的简单处理,草草看过SQL,然后干别的事情去了。
半天后,稍稍整理了一下那段SQL,发现通过抽层,可以很好的把这段SQL嵌入到我现有的代码,SQL改动不大。一顿修改,很快可以执行成功了。
于是,简单的补了几天数据,就给测试了。
结果。。。数据误差很大。。。
检查了半天逻辑,完全没有问题,compare了两个版本SQL,也没有太多误差。。。
纳闷,union all ,仔细比较union all 前后数据,结果,发现我的数据刚好等于原有逻辑的前表。
那么是后表不见了。。。
后表,开始检查后表,逻辑没有问题,单独执行存在数据
仔细比较字段,顺序不同。。。
是的,,,union all的前后表字段顺序应该保持一致。
一切的记忆都开始回来的,这个问题希望不要再犯傻了