hadoop优化部分参数

yarn-site.xml:

表示该节点服务器上yarn可以使用的虚拟CPU个数，默认是8，推荐将值配置与物理核心个数相同

yarn.nodemanager.resource.cpu-vcores: 24

设置该节点上yarn可使用的内存，默认为8G，如果节点内存资源不足8G，要减少这个值，yarn不会智能的去检测内存资源，一般这个设置yarn的可用内存资源

yarn.nodemanager.resource.memory-mb: 51412

yarn.scheduler.increment-allocation-mb: 512
yarn.app.mapreduce.am.command-opts: -Xmx819m
yarn.scheduler.minimum-allocation-mb: 512

单任务最小内存

如果设置成2G，那50/2 = 25，就是最多可以跑25个container

如果设置成3G，那50/3 = 16，就是最多可以跑16个container

yarn.app.mapreduce.am.resource.mb: 1024
hdfs-site.xml:
dfs.namenode.handler.count: 14
mapred-site.xml:
mapreduce.task.io.sort.mb: 409
mapreduce.map.memory.mb: 1024
mapreduce.reduce.memory.mb: 1024
mapreduce.map.java.opts: -Xmx819m
mapreduce.reduce.java.opts: -Xmx819m
capacity-scheduler.xml
yarn.scheduler.capacity.maximum-am-resource-percent： 0.8