摘要：
需求： 创建两个队列，分别是test和atguigu（以用户所属组命名）。期望实现以下效果：若用户提交任务时指定队列，则任务提交到指定队列运行；若未指定队列，test用户提交的任务到root.group.test队列运行，atguigu提交的任务到root.group.atguigu队列运行（注：g 阅读全文
摘要：
容量调度器，支持任务优先级的配置，在资源紧张时，优先级高的任务将优先获取资源。默认情况，Yarn将所有任务的优先级限制为0，若想使用任务的优先级功能，须开放该限制。 （1）修改yarn-site.xml文件，增加以下参数 <property> <name>yarn.cluster.max-appli 阅读全文
摘要：
1. 在生产环境怎么创建队列？ （1）调度器默认就1个default队列，不能满足生产要求。 （2）按照框架：hive /spark/ flink 每个框架的任务放入指定的队列（企业用的不是特别多）（3）按照业务模块：登录注册、购物车、下单、业务部门1、业务部门2 2. 创建多队列的好处 （1）因为 阅读全文
摘要：
修改yarn-site.xml 配置参数 <!-- 选择调度器，默认容量 --> <property> <description>The class to use as the resource scheduler.</description> <name>yarn.resourcemanager. 阅读全文
摘要：
1. yarn application查看任务 （1）列出所有Application：yarn application -list （2）根据Application状态过滤：yarn application -list -appStates <状态>（所有状态：ALL、NEW、NEW_SAVING、 阅读全文