Hive之语句调优
1.数据过滤
尽量先过滤数据,减少每个阶段的数据量,然后再进行join
2.分区
要合理使用分区,hive分区数据文件是放在不同目录下的
3.执行顺序
hive总是按照从左到右的顺序执行语句
4.job任务数
hive会对每次join启动一个mapreduce任务
当对3个或者更多个表进行join连接时,如果每个on都使用相同的连接键的话,那么只会产生一个mapreduce job
启动一次job尽可能的多做事情,一个job能完成的事情,不要两个job来做
5.join
hive顺序从左到右,同时假定最后一个表是最大的表。所以连接时小表放前边,先进内存,然后扫描大表进行计算
/*+STREAMTABLE(S)*/,hive会尝试将表s作为驱动表,即使其在查询中不是位于最后面的
/*MAPJOIN(A)*/ ,作用为小表先进内存,在mapper端直接join,省略掉reduce过程,减少大量时间
LEFT SEMI JOIN, 关联前过滤条件,只在on过滤条件,相当于等值连接但是不会产生重复数据区别于join
6.排序
Order by ,全局排序,但是在一个reduce中执行,需消耗大量时间
Sort by,部分排序,多个reduce,只能实现部分排序
Distribute by和group by控制reducer如何接受一行行数据,sort by控制reducer内部是如何进行排序的。Hive中distribute by要写在sort by之前,两个一起使用可以实现order by
Cluster by,全局排序,但是只能默认升序
7.数据倾斜
避免数据倾斜,数据倾斜会使跑数时间大幅增加
8.小文件
如果数据量较大,一定要合并小文件,否则会非常影响表查询的效率
Map输入合并
set mapred.max.split.size=256000000; #每个Map最大输入大小
set mapred.min.split.size.per.node=100000000; #一个节点上split的至少的大小
set mapred.min.split.size.per.rack=100000000; #一个交换机下split的至少的大小
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; #执行Map前进行小文件合并
在开启了org.apache.hadoop.hive.ql.io.CombineHiveInputFormat后,一个data node节点上多个小文件会进行合并,合并文件数由mapred.max.split.size限制的大小决定。
mapred.min.split.size.per.node决定了多个data node上的文件是否需要合并~
mapred.min.split.size.per.rack决定了多个交换机上的文件是否需要合并~
输出合并
set hive.merge.mapfiles = true #在Map-only的任务结束时合并小文件
set hive.merge.mapredfiles = true #在Map-Reduce的任务结束时合并小文件
set hive.merge.size.per.task = 256*1000*1000 #合并文件的大小
set hive.merge.smallfiles.avgsize=16000000 #当输出文件的平均大小小于该值时,启动一个独立的map-reduce任务进行文件merge
9.参数
善于使用hive的各类常用参数,提高语句效率
10.mapreduce
最好熟悉mapreduce整个运行原理,了解里面各个环节的加工过程,从而有针对性的去优化