配置YARN
1.配置yarn-site.xml(所有节点)
路径:
/usr/local/hadoop-2.7.3/etc/hadoop/yarn-site.xml
配置项:
<property>
<!-- 指明resourcemanager在什么地方 -->
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
2.配置mapred-site.xml(所有节点)
路径:
/usr/local/hadoop-2.7.3/etc/hadoop/mapred-site.xml
配置项目:
<property>
<!-- 指明mapreduce跑在什么框架上,不配默认本机 -->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
说明:
默认没有mapred-site.xml文件,但是有一个mapred-site.xml.template,cp改名一个就好了
3.单独启动YARN
在每个节点上执行:yarn-daemon.sh
4.一键启动YARN
在master上执行:start-yarn.sh
5.Web监控地址(8088端口)
http://192.168.0.104:8088/cluster
如果启动不成功,参看"启动hadoop集群"里面写的"一键式启动"那里的配置,原理是一样的,这里也要配
6.查看每个node的配置,以及配置来源
http://nodemanageraddress:8042/conf
例如:http://192.168.0.105:8042/conf
备注:
yarn-site如果是集中启动,其实只需要在管理机上配置一份即可,但是如果单独启动,需要每台机器一份