Hadoop集群参数和常用端口
一、Hadoop集群参数配置
在hadoop集群中，需要配置的文件主要包括四个，分别是core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml，这四个文件分别是对不同组件的配置参数，具体如下：
- core-site.xml，集群全局参数。用于定义系统级别的参数，如HDFS、URL、Hadoop的临时目录等。
- hdfs-site.xml，HDFS参数。如名字节点和数据节点的存放位置、文件副本的个数、文件读取权限等。
- yarn-site.xml，集群资源管理系统参数。配置ResourceManager、NodeManager的通信端口，web监控端口等。
- mapred-site.xml，MapReduce参数。包括JobHistory Server和应用程序参数两部分，如reduce任务的默认个数、任务所能使用内存的默认上下限等。
1.1 core-site.xml
|
参数名称 |
默认值/缺省值 |
说明 |
|
fs.defaultFS |
file:/// |
文件系统主机和端口 |
|
io.file.buffer.size |
4096 |
流文件的缓冲区大小，，建议为65536（64K） |
|
hadoop.tmp.dir |
/tmp/hadoop-${user.name} |
临时文件夹 |
|
fs.trash.interval |
0 |
当文件被删除时，会放到用户目录的.Trash目录下，而不是立即删掉。建议配置1440（一天） |
1.2 hdfs-site.xml配置
1、NameNode的配置
|
参数名称 |
默认值/缺省值 |
说明 |
|
dfs.namenode.name.dir |
file://${hadoop.tmp.dir}/dfs/name |
定义DFS的名字节点在本地文件系统的位置 |
|
dfs.namenode.hosts / dfs.namenode.hosts.exclude |
null，所有DataNode都可连入NameNode |
设置允许/拒绝请求NameNode的DataNode |
|
dfs.blocksize |
268435456 |
对于新文件切切分的大小，单位byte。默认256M |
|
dfs.namenode.handler.count |
10 |
NameNode用来处理来自DataNode的RPC请求的线程数量。建议设置成Datanode数量的10% |
2、DataNode的配置
|
参数 |
默认值 |
参数解释 |
|
dfs.datanode.data.dir |
file://${hadoop.tmp.dir}/dfs/data |
定义DFS数据节点存储数据块时存储在本地文件系统的位置 |
1.3 yarn-site.xml配置
1、ResourceManager和NodeManager配置
|
参数名称 |
默认值/缺省值 |
说明 |
|
yarn.acl.enable |
true |
acl访问权限控制是否开启 |
|
yarn.admin.acl |
* |
管理员acl权限 |
|
yarn.log-aggregation-enable |
false |
是否启用日志聚集功能 |
|
yarn.log-aggregation.retain-seconds |
-1 |
在HDFS上聚集的日志最多保存多长时间 |
|
yarn.log-aggregation.retain-check-interval-seconds |
-1 |
多长时间检查一次日志 |
|
yarn.log-aggregation.retain-seconds |
/tmp/logs /${user}/${thisParam} |
远程日志目录子目录名称（启用日志聚集功能时有效） |
2、ResourceManager配置
|
参数名称 |
默认值/缺省值 |
说明 |
|
yarn.resourcemanager.address |
0.0.0.0:8032 |
ResourceManager提供给客户端访问的地址，客户端通过该地址向RM提交应用程序，杀死应用程序等； |
|
yarn.resourcemanager.scheduler.address |
0.0.0.0:8030 |
ResourceManager提供给Applicationmaster的访问地址。ApplicationMaster通过改地址向RM申请资源、释放资源等 |
|
yarn.resourcemanager.resource-tracker.address |
0.0.0.0:8031 |
ResourceManager提供给NodeManager的地址。NodeManager通过改地址向RM汇报心跳、领取任务等 |
|
yarn.resourcemanager.admin.address |
0.0.0.0:8033 |
ResourceManager提供给管理员的访问地址。管理员通过该地址向RM发送管理命令 |
|
yarn.resourcemanager.webapp.address |
0.0.0.0:8088 |
ResourceManager对web服务提供地址，用户可通过该地址在浏览器中查看集群各类信息 |
|
yarn.resourcemanager.hostname |
hostname |
ResourceManager主机名 |
|
yarn.resourcemanager.scheduler.class |
CapacityScheduler |
启动的资源调度器主类。目前可用的有FIFO、Capacity Scheduler和Fair Scheduler |
|
yarn.scheduler.minimum-allocation-mb / yarn.scheduler.maximum-allocation-mb |
1024 / 8192 |
单个任务可申请的最小/最大内存资源量 |
|
yarn.scheduler.minimum-allocation-vcores / yarn.scheduler.maximum-allocation-vcores |
1 / 32 |
单个任务可申请的最小/最大虚拟CPU数 |
|
yarn.resourcemanager.nodes.include-path / yarn.resourcemanager.nodes.exclude-path |
“” |
NodeManager黑白名单，用于允许/拒绝NodeManager对ResourceManager的访问 |
|
yarn.resourcemanager.resource-tracker.client.thread-count |
50 |
处理来自NodeManager的RPC请求的Handler数目 |
|
yarn.resourcemanager.scheduler.client.thread-count |
50 |
处理来自ApplicationMaster的RPC请求的Handler数目 |
|
yarn.resourcemanager.nodemanagers.heartbeat-interval-ms |
1000（ms） |
NodeManager心跳间隔 |
3、NodeManager配置
|
参数名称 |
默认值/缺省值 |
说明 |
|
yarn.nodemanager.resource.memory-mb |
8192 (MB) |
NodeManager总的可用物理内存。该参数一旦设置，在整个运行过程中不可动态修改 |
|
yarn.nodemanager.vmem-pmem-ratio |
2.1 |
每使用1MB物理内存，最多可用的虚拟内存数 |
|
yarn.nodemanager.resource.cpu-vcores |
8 |
NodeManager总的可用虚拟CPU个数 |
|
yarn.nodemanager.local-dirs |
${hadoop.tmp.dir}/nm-local-dir |
中间结果存放位置，一般会配置多个目录，分摊磁盘IO负载 |
|
yarn.nodemanager.log-dirs |
${yarn.log.dir}/userlogs |
日志存放地址 |
|
yarn.nodemanager.log.retain-seconds |
10800 (3小时) |
NodeManager上日志最多存放时间（不启用日志聚集功能时有效） |
|
yarn.nodemanager.aux-services |
“” |
NodeManager上运行的附属服务 |
|
yarn.nodemanager.remote-app-log-dir |
/tmp/logs |
当应用程序运行结束时，日志被转移到HDFS目录（启用日志聚集时有效） |
|
yarn.nodemanager.remote-app-log-dir-suffix |
${remote-app-log-dir}/${user}/{thisParam} |
集合日志后的存放地址由 ${remote-app-log-dir}/${user}/{thisParam}构成 |
1.4 mapred-site.xml配置
该配置文件主要是MapReduce相关参数配置，分为JobHistory Server和应用程序参数两部分，JobHistory可运行在一个独立节点上，而应用程序参数则可放在mapred-site.xml中作为默认参数，可以在提交应用程序时指定。
1、MapReduce JobHistory相关参数配置
在JobHistory所在节点的mapred-site.xml中配置
|
参数名称 |
默认值/缺省值 |
说明 |
|
mapreduce.jobhistory.address |
0.0.0.0:10020 |
MapReduce JobHistory Server地址 |
|
mapreduce.jobhistory.webapp.address |
0.0.0.0:19888 |
MapReduce JobHistory Server Web UI地址 |
|
mapreduce.jobhistory.intermediate-done-dir |
/mr-history/tmp |
MapReduce作业产生的日志存放位置 |
|
mapreduce.jobhistory.done-dir |
/mr-history/done |
mapreduce.jobhistory.done-dir |
2、MapReduce作业参数配置
可在客户端的mapred-site.xml中配置，也可在作业提交时指定这些参数。
|
参数名称 |
默认值/缺省值 |
说明 |
|
mapreduce.job.name |
作业名称 |
|
|
mapreduce.job.priority |
NORMAL |
作业优先级 |
|
yarn.app.mapreduce.am.resource.mb |
1536 |
MR ApplicationMaster占用的内存量 |
|
yarn.app.mapreduce.am.resource.cpu-vcores |
1 |
MR ApplicationMaster占用的虚拟CPU个数 |
|
mapreduce.am.max-attempts |
2 |
MR ApplicationMaster最大失败尝试次数 |
|
mapreduce.map.memory.mb |
1536 |
每个Map Task需要的内存量 |
|
mapreduce.map.cpu.vcores |
1 |
每个Map Task需要的虚拟CPU个数 |
|
mapreduce.map.maxattempts |
4 |
Map Task最大失败尝试次数 |
|
mapreduce.map.java.opts |
-Xmx1024M |
map任务启用的子JVM的最大堆大小 |
|
mapreduce.reduce.memory.mb |
3072 |
每个Reduce Task需要的内存量 |
|
mapreduce.reduce.cpu.vcores |
1 |
每个Reduce Task需要的虚拟CPU个数 |
|
mapreduce.reduce.maxattempts |
4 |
Reduce Task最大失败尝试次数 |
|
mapreduce.map.speculative |
false |
是否对Map Task启用推测执行机制 |
|
mapreduce.reduce.speculative |
false |
是否对Reduce Task启用推测执行机制 |
|
mapreduce.reduce.java.opts |
-Xmx2560M |
Reduce任务启用的子JVM的最大的堆大小 |
|
mapreduce.job.queuename |
default |
作业提交到的队列 |
|
mapreduce.task.io.sort.mb |
512 |
任务内部排序缓冲区大小 |
|
mapreduce.task.io.sort.factor |
100 |
排序时一次合并的文件数 |
|
mapreduce.map.sort.spill.percent |
0.8 |
Map阶段溢写文件的阈值（排序缓冲区大小的百分比） |
|
mapreduce.reduce.shuffle.parallelcopies |
50 |
Reduce Task启动的并发拷贝数据的线程数目 |
二、Hadoop常用端口
2.1 HDFS端口
|
参数 |
描述 |
默认端口 |
配置文件 |
|
fs.default.name.namemode |
namenode RPC交互端口 |
8020 |
core-site.xml |
|
dfs.http.address |
namenode web管理端口 |
50070 |
hdfs-site.xml |
|
dfs.datanode.address |
datanode控制端口 |
50010 |
hdfs-site.xml |
|
dfs.datanode.ipc.address |
datanode的RPC服务器地址和端口 |
50020 |
hdfs-site.xml |
|
dfs.datanode.http.address |
datanode的HTTP服务器地址和端口 |
50075 |
hdfs-site.xml |
2.2 Yarn端口
2.3 MapReduce端口
|
参数 |
描述 |
默认端口 |
配置文件 |
|
mapred.job.tracker |
job-tracker交互端口 |
8021 |
mapred-site.xml |
|
job |
tracker的web管理端口 |
50030 |
mapred-site.xml |
|
mapred.task.tracker.http.address |
task-tracker的HTTP端口 |
50060 |
mapred-site.xml |
【参考链接】
[1] 董西成, Hadoop YARN配置参数剖析.
[2] https://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/ClusterSetup.html
[3] yangjl38, hadoop三个配置文件的参数含义说明.
