Hadoop集群搭建

1.每台pc上都要安装jdk，并修改/etc/profile中java路径，然后重启机器；

2.每台pc都安装hadoop，修改hadoop目录下conf中的hadoop-env.sh中java路径；

3.用命令ifconfig -a查看每台pc的ip，然后修改每台机器上的/etc/hosts，格式如下：

  IP  master

  IP  slave1

  IP  slave2 ……

4.修改每台pc上conf下的slaves和masters文件，大概格式参照如下：

  Masters格式：masterIP或者master

  Slaves格式：slave1IP           或者   slave1

                    slave2IP      或者  slave2

                    Slave3IP     或者   slave3

5.修改每台pc上hadoop目录下conf中的core-site.xml，hdfs-site.xml，mapred-site.xml文件，

 主要内容如下：

Core-site.xml：

<configuration>

  <property>

        <name>fs.default.name</name>

        <value>hdfs://masterIP:9000</value>

 </property>

 <property>

        <name>hadoop.tmp.dir</name>

        <value>/root/hadoop-0.21.0/tmp</value>

 </property>

</configuration>

 

Hdfs-site.xml：

<configuration>

  <property>

        <name>dfs.name.dir</name>

        <value>file:///root/hdoop-0.21.0/data</value>

 </property>

 <property>

        <name>dfs.data.dir</name>

        <value>file:///root/hadoop-0.21.0/data</value>

 </property>

 <property>

        <name>dfs.replication</name>

        <value>1</value>

 </property>

</configuration>

 

Mapred-site.xml:

<configuration>

  <property>

        <name>mapred.job.tracker</name>

        <value>masterIP:9001</value>

 </property>

</configuration>

6.同样按照伪分布式搭建过程中的方法部署ssh-key，实现master无密码访问所有的slaves。