随笔分类 - YARN
摘要:1.hive sql提交到yarn上面执行之后,将会成为MR任务执行 正在运行的MR任务的application查看的url,不同类似的任务查看的url可能会不同,比如Spark,Flink等 http://xxxx:8088/cluster/app/application_158225xxxxx_
阅读全文
摘要:1.yarn top,查看yarn上面的资源使用情况 2.队列使用状态 queue -status root.xxx_common Queue Information : Queue Name : root.xxx_common State : RUNNING Capacity : 100.0% C
阅读全文
摘要:参考:Yarn 监控 - 监控任务运行状态 (包括Spark,MR 所有在Yarn中运行的任务) //获取任务的applicationId public static String getAppId(String jobName) throws IOException { Configuration
阅读全文
摘要:在YARN上可以配置动态资源池,来对集群资源进行分配和隔离 同时,支持计划模式,可以通过时间对资源池来进行动态调整
阅读全文
摘要:YARN有3种调度器:FIFO Scheduler,Capacity Scheduler(容器调度器) 和 FairS cheduler(公平调度器)。cloudera官方推荐使用Capacity Scheduler,而且在cloudera的CDP中,只保留了Capacity Scheduler这一
阅读全文