property | default | description |
io.sort.mb | 100(mb) | 缓存map中间结果的buffer大小 |
io.sort.record.percent | 0.05 | io.sort.mb中用来保存map output记录边界的百分比,其他缓存用来保存数据 |
io.sort.spill.percent | 0.8 | map开始做spill操作的阈值 |
io.sort.factor | 10 | 做merge操作时同时操作的stream数上限。 |
min.num.spill.for.combine | 3 | combiner函数运行的最小spill数 |
mapred.compress.map.output | FALSE | map中间结果是否采用压缩 |
mapred.map.output.compression.codec | org.apache.hadoop.io.compress.DefaultCodec | |
min.num.spill.for.combine | 3 | combiner函数运行的最小spill数 |
mapred.compress.map.output | FALSE | map中间结果是否采用压缩 |
mapred.map.output.compression.codec | org.apache.hadoop.io.compress.DefaultCodec | |
mapred.reduce.parallel.copies | 5 | 每个reduce并行下载map结果的最大线程数 |
mapred.reduce.copy.backoff | 300(s) | reduce下载线程最大等待时间 |
io.sort.factor | 10 | |
mapred.job.shuffle.input.buffer.percent | 0.7 | 用来缓存shuffle数据的reduce task heap百分比 |
mapred.job.shuffle.merge.percent | 0.66 | 缓存的内存中多少百分比后开始做merge操作 |
mapred.job.reduce.input.buffer.percent | 0 | ort完成后reduce计算阶段用来缓存数据的百分比 |