Hadoop.之.安装-部署-2

安装-部署-Yarn

　　安装-部署-Yarn相关操作步骤，参见官网文档: http://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation

1.  下载解压Hadoop

　　此步骤在上一篇《Hadoop.之.安装-部署-1》，以操作完成

 

2. 修改配置

　　修改hdfs配置

　　　　此步骤在上一篇《Hadoop.之.安装-部署-1》，以操作完成

　　

　　修改MapReduce配置

　　　　

　　　　从官网上可以得出，首先需要修改一个配置文件，其位置在：etc/hadoop/mapred-site.xml,

　　　　在mapred-site.xml文件中，添加如下内容：

　　　　<!--指定MapReduce程序运行在yarn上-->

　　　　<property>
　　　　　　<name>mapreduce.framework.name</name>
　　　　　　<value>yarn</value>
　　　　</property>

　　　　

　　　　注意：

　　　　　　1. 这个文件路径是在：etc/hadoop，也就是在：/opt/modules/hadoop-2.7.3这个目录下的etc，不是根目录下的：/etc。

　　　　　　2. 默认etc/hadoop/路径下，是 没有mapred-site.xml这个文件的，有一个文件是：mapred-queues.xml.template ,需要cp一份出来修改后缀名即可。

　　　　　　　 指令：cp mapred-queues.xml.template mapred-queues.xml

　　修改Yarn配置：　

　　　　

　　　　从官网文档得知，需要修改yarn-site.xml，其位置在：etc/hadoop目录下，编辑yarn-site.xml文件，添加内容如下：

　　　　<!--指定yarn上运行的程序的类型-->　　　　

　　　　<property>

　　　　　　<name>yarn.nodemanager.aux-services</name>

　　　　　　<value>mapreduce_shuffle</value>

　　　　</property>

　　　　<!--指定resourcemanager的地址-->
　　　　<property>

　　　　　　<name>yarn.resourcemanager.hostname</name>

　　　　　　<value>gongziyuan.com</value>

　　　　</property>

　　　　

　　　　注意：

　　　　　　此处配置了resourcemanager的地址，但没有配置datanode的地址，是因为之前有配置:slaver 文件，系统会解析slaver文件

　　　　　　从中获取datanode的地址

　　修改slaves文件：指定datanode和nodemanager的地址

 

　　启动服务

　　　　启动resourcemanager
　　　　　　sbin/yarn-daemon.sh start resourcemanager

　　　　启动nodemanager
　　　　　　sbin/yarn-daemon.sh start nodemanager

　　

　　 验证

　　　　输入jps ，可以查看相关进程信息，如图所示（进程PID和顺序可能会有所不同，这个没关系）：

　　　　

　　　　

　　　　通过web页面进行验证，http://IP:端口号

　　　　我的IP地址是：192.168.43.150，在浏览器的地址栏中输入 ：http://192.168.43.150:8088

　　　　

 　　

　　小结：Hadoop常用端口：

　　　　NameNode的RPC端口：8020
　　　　NameNode的http端口：50070
　　　　ResourceManager的Rpc端口：8032
　　　　ResourceManager的http端口：8088

　　　　所有客户端的请求、心跳、汇报等等都走rpc端口

　　　　所有web界面的提供都走http端口

　　　　关机前记得关闭所有进程：将启动命令中的 start更换为stop

　　　　

 

如有问题 ，欢迎 纠正！！！

如有转载，请标明源处：http://www.cnblogs.com/Charles-Yuan/articles/9434390.html