Fanr

摘要： 概述 节点属性是一种描述节点的方式没有资源保障。可以用来让应用挑选正确的节点 特性 节点属性有一下几个特性： 一个节点可以有多个属性 值可以与标记到节点的属性相关联，目前只支持字符串 和node label不一样，node属性不需要在集群级别显示指定，但是有api可以列出集群级别的属性 作为无形的资 阅读全文

摘要： 概述 节点标签是对节点分组，应用可以指定在哪里运行。 先在只支持node分区： 1.一个node 只能有一个标签，默认标签为default 2.用户需要配置一个分区可以有多少资源 3.有2种节点分区 3.1 独占的，当准确的匹配node分区的时候 3.2非独占，就是没有准确的node 分区，被分配到 阅读全文

摘要： 概述 YARN支持可扩展资源模块，默认YARN会跟着所有node，应用和队列中的内存和cpu，但是资源只能扩展可计数的资源，比如cpu ，内存，但是GPU和软件许可是不行的。 配置 yarn-site.xml 属性 值 yarn.resourcemanager.resource-profiles.e 阅读全文

摘要： 概述 YARN的资源管理器支持高可用 体系结构 RM故障转移 RM HA是主从结构，任何时候只有一个主，多个从。转移通过admin客户端或者集成的故障转移控制器自动故障转移。 手动事务和故障转移 没有配置自动故障转移的情况下，管理员可以手动的进行故障转移，使用yarn rmadmin 自动故障转移 阅读全文

摘要： 概述 ResourceManager是集群中绝对的资源管理工具，并且调度应用在YARN上运行。因此对于YARN来说是一个单点问题。这个文档介绍RM的重启。 有2种重启的方式： 1.非工作保留RM重启：就是RM重启并不保存工作，并且会重启之前运行的应用 2.工作保留RM重启：RM重启会保留工作状态，并 阅读全文

摘要： 目的 文档主要描述了FairScheduler,一个可拔插的调度去，允许YARN应用公平共享集群上的资源。 概述 公平调度是分配资源的一种方式，公平的，平均的给所有应用分配资源。下一代Hadoop，可以调度多种资源类型，默认公平调度是在内存上的。也可以配置调度cpu和内存。当只有一个app运行的时候 阅读全文

摘要： 3 Hadoop: Capacity Scheduler 3.1 目的 这个文档主要描述CapacityScheduler是一个可拔插的调度器，允许多用户安全的共享巨大的集群，这样他们的应用可以及时的在约束允许的情况下分配资源。 3.2 概述 CapacityScheduler被设计成共享的方式运行 阅读全文

摘要： YARN的基本想法是从资源管理和job的监控调度中分离出来（也就是从mapreduce中分离出来）。有一个全局的资源管理器(ReourceManager,RM)和每个应用一个的应用主程序(ApplicationMaster AM)。应用可以是一个job也可是一个job的有向无环图。 YARN还有个F 阅读全文