Hadoop分布式环境搭建

作者：gqk:

　　使用多个服务器访问hadoop的各个进程；

　　Hadoop分布式环境搭建准备工作：

　　　　克隆三个虚拟机：

　　　　机器规划：

　　　　更改两个机器的MAC的地址

　　　更改网卡并配置：

　　　1）修改网卡：克隆的机子网卡默认为eth1 改为eth0,，MAC改为本机的

　　　　vim /etc/udev/rules.d/70-persistent-net.rules

　　（注意：出现修改后不管用的）修改的时候注意etc0中的MAC和主机的保持一致

　　eth0配文件中的mac地址改成了ifocnfig中出来的mac地址，然后再次删除/etc/udev/rules.d/70-persistent-net.rules文件，重启机器，让他再次重新选择网卡，启动之后，查看了ifocnfig，这时候变成了eth0，

ntp时间服务器：同步三个服务器的时间　

　注：机器1当成时间服务器，机器2+3同步1的时间

　机器1上配置ntp时间服务器修改[root@hadoop1 /]# vim /etc/sysconfig/ntpd

　　修改：

　　去掉时间服务器

　　去掉注释修改网段：

　　修改或添加：

　　重启ntpd：service ntpd restart

　　启动成功后执行命令 date 可以看到时间，此时时间你不正确和本地不一样需要配置

　　配置本地时间：

　　在虚拟机2，和3上通过命令同步：

　　[root@hadoop2 /]# /usr/sbin/ntpdate hadoop1

　　可以添加定时器： [root@hadoop2 /]# crontab -e

　　同时在两台机器上编辑：每1分钟同步一次

　　0-59/10 * * * * /usr/sbin/ntpdate hadoop1

分布式环境搭建：

　　配置core-site.xml

　　配置hdfs-site.xml(在hadoop1上配置)存放在第三个服务器上

<configuration>
<property>
      <name>dfs.namenode.secondary.http-address</name>
            <value>hadoop3:50090</value>
              </property>
</configuration>

　　yarn-site.xml配置：

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop2</value>
</property>
</configuration>

　　vim slaves配置：从节点配置（3个都要配）