yarn上运行mapreduce
1.准备一台客户机
2.安装JDK和hadoop
3.配置环境变量
4.配置集群在yarn上运
4.1配置环境变量
yarn-env.sh 增加exprt JAVA_HOME=
mapred-env.sh 增加exprt JAVA_HOME=
4.2配置集群环境
由于yarn包含resourceManager和nodeManager\ApplicationManager以及Container,因此在此处先配置resourceManager和nodeManager
a.配置yarn-site.xml
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop101</value><!--此处的红色标记必须在/etc/hosts文件中完成主机名城和Ip的映射配置-->
</property>
b.配置 mapred-site.xml
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value><!--此处默认值是local-->
</property>
</property>
5.启动、测试集群增删查
5.1启动(注意启动前必须要先启动集群,既namenode和datanode)
(a)启动resourcemanager
sbin/yarn-daemon.sh start resourcemanager
(b)启动nodemanager
sbin/yarn-daemon.sh start nodemanager
(c)查看(展示MapReduce的运行进程)
http://hadoop101:8088
6.在yarn上运行程序
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/atguigu/input/ /user/atguigu/output