Hive使用技巧

hive默认查询不会显示列名， 当一个表字段比较多的时候，往往看不出值与列之间的对应关系，对日常查错及定位问题带来不便，像下面这样。

1. hive>
2. >select * from example_table where dt='2012-03-31-02' limit 2;
3. OK
4. NULL    315103  2012-12-24_month
   NULL    10106   2013-01-07_day
   NULL    15368   2013-01-14_day
   NULL    356742  2013-02-28_month
   NULL    14253   2013-03-24_day
5. Time taken: 1.104 seconds, Fetched: 5 row(s)

开启行转列功能之后:

1. set hive.cli.print.header=true; // 打印列名
2. set hive.cli.print.row.to.vertical=true; // 开启行转列功能, 前提必须开启打印列名功能
3. set hive.cli.print.row.to.vertical.num=1; // 设置每行显示的列数。
4. > select * from example_table where pt='2012-03-31-02' limit 2;
5. OK
6. visitid count   dt
7. NULL    315103  2012-12-24_month
   NULL    10106   2013-01-07_day
   NULL    15368   2013-01-14_day
   NULL    356742  2013-02-28_month
   NULL    14253   2013-03-24_day

（行列转换功能在公司hive中实验未成功实现，实际上行列转换之后的效果：

vistid=NULL

count=315103  

dt=2012-12-24_month

-------------------------Gorgeous-split-line-----------------------

vistid=NULL

count=10106   

dt=2013-01-07_day

）

开启行转列功能后， 每一行都已列显示， 值前面都加上列名， 方便问题查找！

---

 

如果遇到一个hive的问题，如下hive sql：

select f.a,f.b from A t join B f  on ( f.a=t.a and f.ftime=20110802)  

该语句中B表有30亿行记录，A表只有100行记录，而且B表中数据倾斜特别严重，有一个key上有15亿行记录，在运行过程中特别的慢，而且在reduece的过程中遇有内存不够而报错。

 

为了解决用户的这个问题，考虑使用mapjoin,mapjoin的原理：

MAPJION会把小表全部读入内存中，在map阶段直接拿另外一个表的数据和内存中表数据做匹配，由于在map是进行了join操作，省去了reduce运行的效率也会高很多

这样就不会由于数据倾斜导致某个reduce上落数据太多而失败。于是原来的sql可以通过使用hint的方式指定join时使用mapjoin。

select /*+ mapjoin(A)*/ f.a,f.b from A t join B f  on ( f.a=t.a and f.ftime=20110802) 

再运行发现执行的效率比以前的写法高了好多。

 

mapjoin还有一个很大的好处是能够进行不等连接的join操作，如果将不等条件写在where中，那么mapreduce过程中会进行笛卡尔积，运行效率特别低，如果使用mapjoin操作，在map的过程中就完成了不等值的join操作，效率会高很多。

例子：

select A.a ,A.b from A join B where A.a>B.a

 

简单总结一下，mapjoin的使用场景：

1. 关联操作中有一张表非常小

2.不等值的链接操作