Hadoop配置文件参数详解

core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/data/hadoop/tmp</value>
        <!-- 其他临时目录的父目录 -->
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop-alone:9000</value>
        <!--
            hdfs://host:port/
            默认的文件系统的名称。通常指定namenode的URI地址，包括主机和端口
        -->
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>4096</value>
        <!--
            在序列文件中使用的缓冲区大小，这个缓冲区的大小应该是页大小（英特尔x86上为4096）的倍数
            他决定读写操作中缓冲了多少数据（单位kb）
        -->
    </property>
    <!--ZooKeeper集群的地址和端口。注意，数量一定是奇数，且不少于三个节点-->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>hadoop1:2181,hadoop2:2181,hadoop3:2181,hadoop4:2181,hadoop5:2181</value>
    </property>
</configuration>

 

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
        <!--指定dataNode存储block的副本数量，默认值是3个，该值应该不大于4-->
    </property>
    <property>
        <name>dfs.blocksize</name>
        <value>268435456</value>
        <!--大型的文件系统HDFS块大小为256MB，先默认是128MB-->
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file://${hadoop.tmp.dir}/dfs/name</value>
        <!--
            存放namenode的名称表（fsimage）的目录，如果这是一个逗号分隔的目录列表，
            那么在所有目录中复制名称表，用于冗余。
         -->
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file://${hadoop.tmp.dir}/dfs/data</value>
        <!--
            存放datanode块的目录。如果这是一个逗号分隔的目录列表，
            那么数据将存储在所有命名的目录中，通常存储在不同的设备上。
        -->
    </property>
    <property>
        <name>dfs.namenode.http-address</name>
        <value>0.0.0.0:50070</value>
        <!---->
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>0.0.0.0:50090</value>
        <!--secondary namenode HTTP服务器地址和端口。-->
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
    <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
        <!-- 当为true时，则允许HDFS的检测，当为false时，则关闭HDFS的检测，但不影响其它HDFS的其它功能。-->
    </property>
    <property>
        <name>dfs.nameservices</name>
        <value>hadoop-cluster1</value>
        <!--给hdfs集群起名字 -->
    </property>
    <property>
        <name>dfs.namenode.handler.count</name>
        <value>100</value>
        <!-- RPC服务器的监听client线程数，如果dfs.namenode.servicerpc-address属性没有配置，则线程会监听所有节点的请求。-->
    </property>
</configuration>

 

yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>hadoop-alone:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>hadoop-alone:8025</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>hadoop-alone:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>hadoop-alone:8050</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>hadoop-alone:8030</value>
    </property>
</configuration>

 

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
        <!--执行框架设置为 Hadoop YARN.-->
    </property>
</configuration>