Hive map/reduce数量
map/reduce数量的多少是如何决定的?
input目录下文件的大小和数量决定map任务的数量
a) 假设input目录下有1个文件a,大小为780M,那么hadoop会将该文件a分隔成7个块(6个128m的块和1个12m的块),从而产生7个map数
b) 假设input目录下有3个文件a,b,c,大小分别为10m,20m,130m,那么hadoop会分隔成4个块(10m,20m,128m,2m),从而产生4个map数。即,如果文件大于块大小(128m),那么会拆分,如果小于块大小,则把该文件当成一个块。
不指定reduce个数的情况下,Hive会猜测确定一个reduce个数,基于以下两个设定:
参数1:hive.exec.reducers.bytes.per.reducer
(每个reduce任务处理的数据量,默认为1000^3=1G)
参数2:hive.exec.reducers.max
(每个任务最大的reduce数,默认为999)
计算reducer数的公式很简单N=min(参数2,总输入数据量/参数1)
调整map/reduce数量
map/reduce的数量不是越多越好,启动和初始化的时间会远远大于逻辑处理的时间,造成资源浪费。
在map执行前合并小文件,减少map数
调整hive.exec.reducers.bytes.per.reducer
参数的值
调整set mapred.reduce.tasks = 15
参数的值