Linux系统下安装Yarn（以Hadoop Yarn为例）的详细步骤

一、前提条件

1. 安装Java

   • Yarn是基于Java开发的，需要先安装Java Development Kit（JDK）。你可以从Oracle官方网站（https://www.oracle.com/java/technologies/javase-jdk11-downloads.html)下载适合你系统的JDK版本。
   • 安装完成后，设置JAVA_HOME环境变量。例如，在bash环境下，将以下内容添加到~/.bashrc文件中：

   export JAVA_HOME=/path/to/your/jdk
   export PATH=$JAVA_HOME/bin:$PATH
   

   • 然后运行source ~/.bashrc使环境变量生效。

2. 安装Hadoop（如果未安装）

   • Yarn通常是Hadoop生态系统的一部分。从Hadoop官方网站（https://hadoop.apache.org/releases.html)下载合适的Hadoop版本。
   • 解压下载的Hadoop压缩包到指定目录，例如：

   tar -zxvf hadoop - x.x.x.tar.gz -C /usr/local/
   

   • 配置Hadoop相关文件，主要包括core - site.xml、hdfs - site.xml和mapred - site.xml等。这些文件通常位于$HADOOP_HOME/etc/hadoop目录下。

   • 在core - site.xml中，配置如文件系统相关的属性，例如：

   <configuration>
       <property>
           <name>fs.defaultFS</name>
           <value>hdfs://localhost:9000</value>
       </property>
   </configuration>
   

   • 在hdfs - site.xml中，可以配置HDFS的副本数等属性：

   <configuration>
       <property>
           <name>dfs.replication</name>
           <value>1</value>
       </property>
   </configuration>
   

   • 在mapred - site.xml（如果不存在，可以从mapred - site.xml.template复制而来），配置MapReduce相关的属性，如指定Yarn作为资源管理器：

   <configuration>
       <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
       </property>
   </configuration>
   

二、安装Yarn

1. 配置Yarn相关文件

   • 进入$HADOOP_HOME/etc/hadoop目录，编辑yarn - site.xml文件。配置示例如下：

   <configuration>
       <property>
           <name>yarn.nodemanager.aux - services</name>
           <value>mapreduce_shuffle</value>
       </property>
       <property>
           <name>yarn.resourcemanager.hostname</name>
           <value>localhost</value>
       </property>
       <property>
           <name>yarn.nodemanager.vmem - pmem - ratio</name>
           <value>2.1</value>
       </property>
   </configuration>
   

   • 这些配置分别指定了NodeManager的辅助服务（用于MapReduce中的数据混洗）、ResourceManager的主机名以及虚拟内存和物理内存的比例等。

2. 启动Yarn服务

   • 首先格式化NameNode（如果是新的HDFS集群）：

   hdfs namenode - format
   

   • 启动HDFS服务：

   start - dfs.sh
   

   • 启动Yarn服务：

   start - yarn.sh
   

   • 可以通过浏览器访问Yarn的资源管理器界面（通常是http://localhost:8088）来检查Yarn是否成功启动。

3. 验证安装

   • 运行一个简单的MapReduce作业来验证Yarn是否正常工作。例如，运行Hadoop自带的示例作业wordcount。
   • 首先创建一个输入目录并上传一些文本文件到HDFS：

   hdfs dfs -mkdir /input
   hdfs dfs -put /path/to/your/text/files /input
   

   • 然后运行wordcount作业：

   hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop - mapreduce - examples - x.x.x.jar wordcount /input /output
   

   • 检查输出结果是否正确，并且可以在Yarn的资源管理器界面查看作业的运行状态和资源使用情况。

请注意，以上安装步骤可能因操作系统、Hadoop版本和具体需求而有所不同。在实际安装过程中，可能需要根据实际情况进行适当的调整。