hadoop集群配置文件
配置文件与功能对应：
修改core-site.xml文件
<property>
<name>fs.defaultFS</name>
<!--配置hdfs系统的地址-->
<value>hdfs://hadoop01:8020</value>（在哪一台配，namenode就在哪一台启动）
</property>
<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-2.6.0/hadoopdata/tmp</value>
</property>
修改hdfs-site.xml文件
<property>
<!--副本数3-->
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<!--hadoop2.x默认数据块大小是128M-->
<name>dfs.blocksize</name>
<value>134217728</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<!--NameNode节点存储元数据的位置-->
<value>file:///home/hadoop/hadoop-2.6.0/hadoopdata/dfs/name</value>
</property>
<property>
<!--DataNode节点存储数据块的位置-->
<name>dfs.datanode.data.dir</name>
<value>file:///home/hadoop/hadoop-2.6.0/hadoopdata/dfs/data</value>
</property>
<property>
<name>fs.checkpoint.dir</name>
<value>file:///home/hadoop/hadoop-2.6.0/hadoopdata/checkpoint/dfs/cname</value>
</property>
<property>
<name>fs.checkpoint.edits.dir</name>
<value>file:///home/hadoop/hadoop-2.6.0/hadoopdata/checkpoint/dfs/cname</value>
</property>
<property>
<!--hdfs系统的web地址-->（主机2为主机1做辅助作用）
<name>dfs.http.address</name>
<value>hadoop01:50070</value>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>hadoop02:50090</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
修改mapred-site.xml文件
命令如下：
# mv mapred-site.xml.template mapred-site.xml
#vi mapred-site.xml
<property>
<!--配置执行计算模型时使用yarn资源调度器-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
<final>true</final>
</property>
<property>
<!--配置MapReduce框架的历史服务的地址-->内部端口
<name>mapreduce.jobhistory.address</name>
<value>hdp-qm-01:10020</value>
</property>
<property>
<!--配置MapReduce框架的历史服务的地址-->外部web端口
<name>mapreduce.jobhistory.webapp.address</name>
<value>hdp-qm-01:19888</value>19888是mapreduce的历史端口
</property>
修改yarn-site.xml，配置yarn的集群。。50070是hdfs的web端口
<property>
<!--配置resourcemanager服务的地址-->
<name>yarn.resourcemanager.hostname</name>
<value>hdp-qm-01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<!--配置mapreduce的shuffle服务的地址-->
<value>mapreduce_shuffle</value>注：mapreduce处理开始，到聚合之前，为shuffle过程。
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>hdp-qm-01:8032</value>内部通信端口与nodemanager通信的端口
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>请求某一台机器，调度资源时需要的端口，
<value>hdp-qm-01:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hdp-qm-01:8031</value>（tracker跟踪，nodemanager跟踪资源时需要的端口）
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>hdp-qm-01:8033</value>任务管理需要的端口
</property>
<property>
<!--配置resourcemanager的web访问地址-->
<name>yarn.resourcemanager.webapp.address</name>
<value>hdp-qm-01:8088</value>8088是yarn的web端口
</property>
