Yarn介绍

YARN（Yet Another Resource Negotiator）是Hadoop的一个关键组件，主要用于大数据处理中的资源管理和作业调度。它是在Hadoop 2.0中引入的，用以改进Hadoop的原始资源管理和作业调度能力，支持Hadoop集群的更高效和更灵活的利用。以下是YARN在大数据环境中的主要功能和用途：

1. 资源管理

YARN提供了一个中央资源管理平台，负责管理集群中的计算资源，如CPU、内存、磁盘和网络。它允许多个数据处理引擎（如 MapReduce、Spark 等）公平并有效地共享系统资源，从而优化资源的使用率和任务的执行速度。

2. 作业调度

YARN负责任务的调度和生命周期管理，可以处理成千上万的同时运行的作业。它支持多种作业调度策略，如先进先出（FIFO）、容量调度器（Capacity Scheduler）和公平调度器（Fair Scheduler），以适应不同大小和类型的作业需求。

3. 应用程序多样性

YARN使Hadoop能够支持除了MapReduce之外的各种数据处理框架。例如，Apache Spark、Apache Tez 和 Apache Flink 等都可以在YARN上运行，使得Hadoop不仅限于批处理，还可以处理交互式查询和实时流处理。

4. 故障容忍和可伸缩性

YARN提高了系统的稳定性和可伸缩性。它可以管理成千上万台服务器的资源，并在应用程序运行时动态地分配和调整资源。此外，如果某个节点失败，YARN能够重新调度作业到其他节点，保证作业的持续运行。

5. 安全性和隔离

YARN还提供了任务运行时的安全性和资源隔离机制，例如可以确保不同用户或不同队列的作业不会相互干扰。这对于多租户环境尤为重要，确保了数据和任务的安全。

6. 可扩展性

由于YARN的设计允许独立于MapReduce之外的其他类型的计算框架，这使得Hadoop可以更灵活地适应不同的数据处理需求，同时支持更广泛的应用程序和更大规模的数据处理任务。

YARN是Hadoop生态系统中非常关键的组件，它通过有效的资源管理和作业调度，极大地扩展了Hadoop的功能，使其成为一个更加强大和灵活的大数据平台。

7. 常用命令

在使用 Hadoop YARN 时，可以通过一系列命令来管理和监控应用程序。以下是一些常用的 YARN 命令，这些命令可提交作业、管理资源、查看应用程序的状态等：

①. yarn application -list

此命令列出当前集群中所有正在运行的应用程序。你可以使用不同的选项来过滤显示的应用程序，例如显示已完成的应用程序或特定类型的应用程序。

②. yarn application -status <application_id>

使用此命令可以查看指定应用程序的状态信息。这对于了解应用程序的进度、健康状况以及其他运行时细节非常有用。

③. yarn application -kill <application_id>

如果需要终止某个正在运行的应用程序，可以使用这个命令。这在应用程序出现问题或不再需要继续运行时非常有用。

④. yarn application -queue <queue_name>

此命令用于将已提交的应用程序移动到另一个队列。这在进行资源管理和优先级调整时非常实用。

⑤. yarn jar <jar_file> <mainClass> [args]

这是一个用于提交 Java 应用程序的命令，尤其是 MapReduce 作业。你需要指定 Jar 文件、主类和任何必要的参数。

⑥. yarn node -list

这个命令显示集群中所有节点的列表。你可以查看每个节点的状态，以及它们各自的资源使用情况。

⑦. yarn node -status <node_id>

通过这个命令可以获取特定节点的详细状态信息，包括它的健康状况、标签、最后健康检查的时间等。

⑧. yarn logs -applicationId <application_id>

此命令用于获取指定应用程序的日志。这对于调试应用程序问题和了解应用程序行为非常关键。

⑨. yarn queue -status <queue_name>

使用这个命令可以查看指定队列的详细信息，如队列配置、资源使用、应用程序限额等。

⑩. yarn top

这个命令提供了一个实时的界面，用于监控集群的资源使用情况，包括 CPU 和内存的使用。这类似于 Unix 系统的 top 命令。

这些命令是与 YARN 直接交互的基本工具，非常有助于进行集群管理、监控以及应用程序的调度和调试。每个命令都可能支持额外的参数和选项，你可以通过添加 --help 来获取更多的帮助信息，例如 yarn application --help。