6 hadoop1.0配置文件详解

hadoop1.0配置文件详解

1 修改hadoop-env.sh
配置 Hadoop 运行所需的环境变量
# The java implementation to use.  
export JAVA_HOME=${JAVA_HOME}

2 配置core-site.xml
Hadoop 核心全局配置文件，可在其他配置文件中引用该文件
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://vm1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hdfs/tmp</value>
</property>
</configuration>

fs.default.name:这是一个描述集群中NameNode结点的URI(包括协议、主机名称、端口号)，集群里面的每一台机器都需要知道NameNode的地址。DataNode结点会先在NameNode上注册，这样它们的数据才可以被使用。独立的客户端程序通过这个URI跟DataNode交互，以取得文件的块列表
hadoop.tmp.dir:这里的路径默认是NameNode、DataNode等存放数据的公共目录。用户也可以自己单独指定这三类节点的目录。其默认位置在/tmp/{user}下。若此处不设置该属性，某些linux重启后，由于tmp目录会被清空，会发生文件无法找到的错误发生。


3 配置hdfs-site.xml
HDFS配置文件，继承 core-site.xml 配置文件

<configuration>
<property>
<name>dfs.name.dir</name>
<value>/home/hdfs/dfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hdfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>


4 配置mapred-site.xml
MapReduce配置文件，继承 core-site.xml 配置文件
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>vm1:9001</value>
</property>
</configuration>


5 配置master
vm1

6 配置slave
vm2
vm3