随笔分类 -  YARN

摘要:1.hive sql提交到yarn上面执行之后,将会成为MR任务执行 正在运行的MR任务的application查看的url,不同类似的任务查看的url可能会不同,比如Spark,Flink等 http://xxxx:8088/cluster/app/application_158225xxxxx_ 阅读全文
posted @ 2020-03-10 15:11 tonglin0325 阅读(1087) 评论(0) 推荐(0) 编辑
摘要:1.yarn top,查看yarn上面的资源使用情况 2.队列使用状态 queue -status root.xxx_common Queue Information : Queue Name : root.xxx_common State : RUNNING Capacity : 100.0% C 阅读全文
posted @ 2020-03-10 10:15 tonglin0325 阅读(2149) 评论(0) 推荐(0) 编辑
摘要:参考:Yarn 监控 - 监控任务运行状态 (包括Spark,MR 所有在Yarn中运行的任务) //获取任务的applicationId public static String getAppId(String jobName) throws IOException { Configuration 阅读全文
posted @ 2016-03-12 19:19 tonglin0325 阅读(939) 评论(0) 推荐(0) 编辑
摘要:在YARN上可以配置动态资源池,来对集群资源进行分配和隔离 同时,支持计划模式,可以通过时间对资源池来进行动态调整 阅读全文
posted @ 2016-02-10 14:34 tonglin0325 阅读(415) 评论(0) 推荐(0) 编辑
摘要:YARN有3种调度器:FIFO Scheduler,Capacity Scheduler(容器调度器) 和 FairS cheduler(公平调度器)。cloudera官方推荐使用Capacity Scheduler,而且在cloudera的CDP中,只保留了Capacity Scheduler这一 阅读全文
posted @ 2015-06-14 16:37 tonglin0325 阅读(1298) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示