hive -e和hive -f的区别（转）

 

大家都知道，hive -f 后面指定的是一个文件，然后文件里面直接写sql，就可以运行hive的sql，hive -e 后面是直接用双引号拼接hivesql，然后就可以执行命令。

但是，有这么一个东西，我的sql当中有一个split切割，暂且先不管这个分割的业务逻辑是什么，但是当中有一段是用小数点（.）来分割字符串的，因为小数点是一个比较特殊的符号，所以前面要加上两个反斜杠来代表这是一个单纯的小数点（.），那么问题就来了！！

当我手动执行hive的时候，我是通过hive -f 执行的，得到的结果数据大约有5000W条，然而我把一样的sql放到kettle中执行（注：kettle中我不愿意在服务器的某个地方写个文件来存放sql，这样后面的人也不好维护，还要去服务器上看我的sql文本，所以kettle中我直接hive -e 执行），结果我发现kettle出来的数据只有50W，你说滑稽不滑稽。。。。

经过折磨，最后在同事的帮助下，我们发现，hive -e "要执行的sql"，这种在引号里面使用2个反斜杠，会出现问题，具体什么问题，我还说不太清楚，但是双引号里面用2个反斜杠确实是会有些冲突（因为hive -f 没有使用到双引号，应该是把这个文本直接传入到hive的类当中，所以没有这样的问题）

因此使用hive -e "要执行的sql" 这种方式跑数据，千万千万看看有没有反斜杠，多关注下反斜杠和双引号是否会冲突，这里我测出来，如果要使用 \\ ，就要替换成\\\\

所以：

select split(split(split(url,'/')[size(split(url,'/'))-1],'\\.')[0],'~')[0]

需要替换成 

select split(split(split(url,'/')[size(split(url,'/'))-1],'\\\\.')[0],'~')[0]

这样就没有问题了！F***K~

最后总结下：如果你在hive中直接执行该命令，那么就只能有\\否则不生效，如果是hive -e(或者说sql命令外面有双引号引起来的)，那么就需要用\\\\
---------------------
作者：lsr40
来源：CSDN
原文：https://blog.csdn.net/lsr40/article/details/81566424
版权声明：本文为博主原创文章，转载请附上博文链接！谢谢！