搭建hadoop 基于yarn的集群模式

 准备工作：三个虚拟机相同操作

1.创建三个虚拟机，参考之前的配置信息

2.设置主机名 vi /etc/hosts  加入

192.168.61.112 bigdata112

192.168.61.113 bigdata113

192.168.61.114 bigdata114

3.关闭防火墙： systemctl stop firewalld.service / systemctl disable firewalld.service

4.设置免密码登录（参照之前文章）

5.添加JAVA_HOME,

生效配置
source ~/.bash_profile

6.统一设置系统时间（不设置会导致运行出错）

这里使用xshell远程比较方便，注意设置多seasion连屏，和右键粘贴功能

 6. 在112上配置hadoop（和上篇部署hadoop原理一样）

但需要修改配置文件  /root/training/hadoop-2.7.3/etc/hadoop

hadoop-env.sh,hdfs.site.xml,core-site.xml,mapred-site.xml,yarn-site.xml,slaves

 

 hadoop-env.sh

 hdfs.site.xml ： 配置数据块的冗余度 比如三台服务器 bigdata112 113 114 那么 冗余度就是 2，最大不要超过三

下面的permission是禁用权限

 core-site.xml

mapred-site.xml

 yarn-site.xml

 slaves：指定从节点的地址

 7. 把112上配置好的hadoop拷贝到从节点113,114

scp -r /root/training/hadoop-2.7.3/ root@192.168.61.113:root/training

scp -r /root/training/hadoop-2.7.3/ root@192.168.61.114:root/training

8. 执行hdfs namenode -format

出现 INFO common.Storage: Storage directory /root/training/hadoop-2.7.3/tmp/dfs/name has been successfully formatted.

9. 在112上执行 start-all.sh

主节点（112）显示内容  jps

ResourceManager   属于yarn工具 主要任务的接收和资源分配
SecondaryNameNode  日志信息的合并
NameNode  主节点  

主节点（113.114）显示内容  jps

DataNode   从节点
NodeManager  属于yarn工具 负责执行任务

10.  测试是否部署成功 

创建 /root/temp/data.txt

写入文本  echo "I LOVE BEIJING AND I LOVE CHINA" > data.txt

hdfs存储内部增加路径   /input hdfs dfs -mkdir /input

将本地创建文本考入到hdfs中存储    hdfs dfs -put /root/temp/input/data.txt /input

查看放入的文本：hdfs dfs -ls /input

执行 mapreduce

hadoop jar /root/training/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar  wordcount /input/data.txt /output/wc

查看输入文件是否存在：hdfs dfs -ls /output/wc 

查看结果：