hive性能优化

矢量查询(Vectorized query) 每次处理数据时会将1024行数据组成一个batch进行处理，而不是一行一行进行处理，这样能够显著提高执行速度。
可以通过设置

 

Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=2)

这个报错可以用下方的设置解决

set hive.vectorized.execution.enabled = true;

set hive.vectorized.execution.enabled = false;