yarn上运行mapreduce

1.准备一台客户机
2.安装JDK和hadoop
3.配置环境变量
4.配置集群在yarn上运

  4.1配置环境变量
            yarn-env.sh 增加exprt JAVA_HOME=
            mapred-env.sh 增加exprt JAVA_HOME=

  4.2配置集群环境

    由于yarn包含resourceManager和nodeManager\ApplicationManager以及Container,因此在此处先配置resourceManager和nodeManager

    a.配置yarn-site.xml   

    <!-- reducer获取数据的方式 -->

    <property>

       <name>yarn.nodemanager.aux-services</name>

       <value>mapreduce_shuffle</value>

    </property>

    <!-- 指定YARN的ResourceManager的地址 -->

    <property>

      <name>yarn.resourcemanager.hostname</name>

      <value>hadoop101</value><!--此处的红色标记必须在/etc/hosts文件中完成主机名城和Ip的映射配置-->

    </property>

    b.配置 mapred-site.xml

    <!-- 指定mr运行在yarn上 -->
    <property>
            <name>mapreduce.framework.name</name>
           <value>yarn</value><!--此处默认值是local-->
    </property>

</property>
5.启动、测试集群增删查

  5.1启动(注意启动前必须要先启动集群,既namenode和datanode)

    (a)启动resourcemanager

    sbin/yarn-daemon.sh start resourcemanager

    (b)启动nodemanager

    sbin/yarn-daemon.sh start nodemanager

    (c)查看(展示MapReduce的运行进程)

      http://hadoop101:8088
 6.在yarn上运行程序

  hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/atguigu/input/ /user/atguigu/output

posted @ 2019-09-26 15:41  行走看世界  阅读(405)  评论(0编辑  收藏  举报