hive 优化

hive 优化

`

-- 合并小文件
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
-- set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;
set mapreduce.input.fileinputformat.split.minsize=256000000;
set mapreduce.input.fileinputformat.split.maxsize=256000000;
set mapreduce.input.fileinputformat.split.minsize.per.node=256000000;
set mapreduce.input.fileinputformat.split.minsize.per.rack=256000000;

-- set hive.optimize.skewjoin=true;
-- set hive.skewjoin.key=10000000;
-- -- 每个Map Task需要的内存量
-- set mapreduce.map.memory.mb=4096;
-- -- 每个Map Task 的JVM最大使用内存
-- set mapreduce.map.java.opts=-Xmx3276M;
-- -- 每个Reduce Task需要的内存量
-- set mapreduce.reduce.memory.mb=4096;
-- -- 每个Reduce Task 的JVM最大使用内存
-- set mapreduce.reduce.java.opts=-Xmx3276M;
-- -- 此参数为全局参数，既对Map和Reduce统一设置
-- set mapred.child.java.opts=-Xms1024M -Xmx3584M;

`sql