hive小文件合并

hive小文件合并。

当使用union all会产生多个文件夹，可以设定distributed by 或者reduce个数。

 

hive合并。

SET hive.exec.dynamic.partition=true;   
SET hive.exec.dynamic.partition.mode=nonstrict;  
set hive.exec.max.dynamic.partitions=3000;
set hive.exec.max.dynamic.partitions.pernode=500;
SET hive.tez.container.size=6656;
SET hive.tez.java.opts=-Xmx5120m;
set hive.merge.tezfiles=true;
set hive.merge.smallfiles.avgsize=1280000000;
set hive.merge.size.per.task=1280000000;
set hive.execution.engine=tez;

tez引擎合并。

set mapred.reduce.tasks =1;
set tez.am.container.reuse.enabled=true;
set tez.runtime.io.sort.mb=1024;
Set hive.tez.container.size=4096;
Set hive.tez.java.opts=-Xmx2g;
set hive.merge.tezfiles=true;
set hive.merge.smallfiles.avgsize=128000000;
set hive.merge.size.per.task=128000000;