2021年7月19日
提交example案例到YARN上运行
摘要： 0、使用官方例子，将MapReduce提交到YARN上运行 1、进入文件夹 [hadoop@hadoop000 mapreduce]$ pwd/home/hadoop/app/hadoop-2.6.0-cdh5.15.1/share/hadoop/mapreduce[hadoop@hadoop000 阅读全文
posted @ 2021-07-19 16:22 酱汁怪兽 阅读(279) 评论(0) 推荐(0) 编辑
YARN资源调度框架环境部署
摘要： 1、步骤 https://archive.cloudera.com/p/cdh5/cdh.hadoop-2.6.0-cdh5.15.1 （1）进入文件夹 [hadoop@hadoop000 hadoop]$ pwd /home/hadoop/app/hadoop-2.6.0-cdh5.15.1/et 阅读全文
posted @ 2021-07-19 14:50 酱汁怪兽 阅读(47) 评论(0) 推荐(0) 编辑
YARN资源调度框架执行流程
摘要： 1、执行流程 （1）客户端先提交一个应用程序（数据作业）到YARN上，此时是与RM进行交互。 （2）RM与NM通信，为应用程序（数据作业）分配第一个container （3）启动container，运行应用程序（数据作业）的AM （4）双向箭头，AM先注册到RM上，这样客户端可以直接查到作业的运行状 阅读全文
posted @ 2021-07-19 10:49 酱汁怪兽 阅读(228) 评论(0) 推荐(0) 编辑
YARN资源调度框架详解
摘要： 1、YARN （1）Yet Another Resource Negotiator （2）通用的资源管理系统 （3）为上层应用提供统一的资源管理和调度 2、架构要点： Client、ResourceManager、NodeManager、ApplicationMaster master/slave： 阅读全文
posted @ 2021-07-19 09:46 酱汁怪兽 阅读(117) 评论(0) 推荐(0) 编辑