Hadoop(6)--yarn安装与测试
1、配置计算调度系统Yarn和计算引擎Map/Reduce
2、namenode上配置mapred-site.xml
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
3、yarn-site.xml的配置
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
4、启动yarn集群start-yarn.sh
5、jps观察启动结果
6、可以使用yarn-daemon.sh单独启动resourcemanager和nodemanager
7、通过网页http://master:8088/观察yarn集群
8、find /usr/local/hadoop -name *example*.jar 查找示例文件
9、通过hadoop jar xxx.jar wordcount /input /output来运行示例程序
10、通过网页来观察该job的运行情况
11、hadoop job -kill job_id --> mapred job -kill job_id mapred job -list
12、经验:yarn-site如果是集中启动,其实只需要在管理机上配置一份即可,但是如果单独启动,需要每台机器一份,在网页上可以看到当前机器的配置,以及这个配置的来源