Hadoop完全分布式环境部署

1. Hadoop的集群规划
2. 前置安装
3. JDK安装
4. Hadoop集群部署

1. Hadoop的集群规划

　　前面我们都了解了Hadoop和Yarn的运行原理和架构，

　　Hadoop包含：NameNode，DataNode，SeconderNameNode节点

　　Yarn包含：ResourceManage  NodeManger节点

　　集群规划： 

1.  分别设置他们的主机名(vi /etc/sysconfig/network)，
2. 设置后重启LinuX
3. 分别根据节点的方式配置ip地址(子节点跟主节点在同一节点上)
4. vi /etc/sysconfig/network-scripts/ifcfg-eth0
5. 设置主节点和子节点之间的ip和主机名的映射关系
6. vi /etc/hosts      主节点排第一，依次往下
7. 关闭子节点防火墙 (chkconfig iptables off)

2.前置安装

• ssh免密登陆

1. 每台机器执行：ssh-keygen -t rsa  命令
2. 在主节点执行 ：ssh-copy-id -i ~/.ssh/id-rsa.pub 节点名(主机名)
3. 验证： 在主节点使用：ssh 子节点名      (如果不需要密码则配置成功)

3.JDK安装

1. 设置子节点的目录结构
2. 在主节点执行：拷贝主节点jdk压缩包的路径到各个子节点中(scp -r jdk路径  用户名@主机名：~/目录地址)
3. 
4. 在各个子节点配置环境变量（vi /etc/profile）

4.Hadoop集群的部署

1. 在主节点修改slaves文件(vi /etc/slaves)
2. 把各个子节点相关的配置文件，环境变量修改下
3. 在主节点格式化Hadoop（hadoop namenode -format）
4. 在主节点启动HDFS
5. 在主节点启动YARN
6. 查看各个节点进程：sbin目录下执行jps

　　主节点：

1. 1. Jps
   2. SecondaryNameNode
   3. NodeManager
   4. NameNode
   5. ResourceManager
   6. DataNode

　　子节点：

1. 1. Jps
   2. DataNode
   3. NodeManager

5.验证是否成功：

　　进到hadoop中的share/hadoop/mapreduce      执行命令：

 

 出现：Estimated value of Pi is 4.000000000  表示成功

 

---

常见错误及解决办法：