yarn搭建

(1)编辑mapred-site.xml配置文件。

配置文件位于Hadoop安装位置的etc/hadoop/目录下。代码如下:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

在上面的配置中,通过设置mapreduce.framework.name的值为yarn,指明通过yarn进行资源管理。

(2)伪分布yarn的yarn-site.xml配置文件内容如下:

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

(3)完全分布式的yarn-site.xml修改内容如下:

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcecemanager.address</name>
        <value>192.168.10.11:8031</value>
    </property>
    <property>
        <name>yarn.resourcecemanager.address</name>
        <value>192.168.10.11:8032</value>
    </property>
    <property>
        <name>yarn.resourcecemanager.scheduler.address</name>
        <value>192.168.10.11:8034</value>
    </property>
    <property>
        <name>yarn.resourcecemanager.webapp.address</name>
        <value>192.168.10.11:8088</value>
    </property>
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.log.server.url</name>
        <value>http://node1:19888/jobhistory/logs</value>
    </property>
</configuration>

(4)将mapred-site.xml和yarn-site.xml发送给slave节点,执行命令如下:

 

首先启动hdfs环境 接着通过JPS查看进程,发现有NameNode和DataNode:

 

 (6)启动YARN,启动命令和启动后的结果如下:

 

 注意: 如果出现如下错误: 

ERROR: Attempting to operate on yarn resourcemanager as root
ERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation.
Starting nodemanagers

是因为共有用户定义造成的,所以分别编辑开始和关闭脚本

$ vim sbin/start-yarn.sh 
$ vim sbin/stop-yarn.sh 

顶部添加

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

启动成功后可看到如下ui界面: 

 

posted @ 2020-11-15 13:02  nohert  阅读(273)  评论(0编辑  收藏  举报