mr on yarn架构
-
提交作业
-
①程序打成jar包，在客户端运行hadoop jar命令，提交job到集群运行
-
job.waitForCompletion(true)中调用Job的submit()，此方法中调用JobSubmitter的submitJobInternal()方法；
-
②submitClient.getNewJobID()向resourcemanager请求一个MR作业id
-
检查输出目录：如果没有指定输出目录或者目录已经存在，则报错
-
计算作业分片；若无法计算分片，也会报错
-
③运行作业的相关资源，如作业的jar包、配置文件、输入分片，被上传到HDFS上一个以作业ID命名的目录（jar包副本默认为10，运行作业的任务，如map任务、reduce任务时，可从这10个副本读取jar包）
-
④调用resourcemanager的submitApplication()提交作业
-
-
客户端每秒查询一下作业的进度（map 50% reduce 0%），进度如有变化，则在控制台打印进度报告；
-
作业如果成功执行完成，则打印相关的计数器
-
但如果失败，在控制台打印导致作业失败的原因
-
-
初始化作业
-
当ResourceManager(一下简称RM)收到了submitApplication()方法的调用通知后，请求传递给RM的scheduler（调度器）；调度器分配container（容器）
-
⑤a RM与指定的NodeManager通信，通知NodeManager启动容器；NodeManager收到通知后，创建占据特定资源的container；
-
⑤b 然后在container中运行MRAppMaster进程
-
⑥MRAppMaster需要接受任务（各map任务、reduce任务的）的进度、完成报告，所以appMaster需要创建多个簿记对象，记录这些信息
-
⑦从HDFS获得client计算出的输入分片split
-
每个分片split创建一个map任务
-
通过 mapreduce.job.reduces 属性值(编程时，jog.setNumReduceTasks()指定)，知道当前MR要创建多少个reduce任务
-
每个任务(map、reduce)有task id
-
-
-
Task 任务分配
-
如果小作业，appMaster会以==uberized==的方式运行此MR作业；appMaster会决定在它的JVM中顺序执行此MR的任务；
-
原因是，若每个任务运行在一个单独的JVM时，都需要单独启动JVM，分配资源（内存、CPU），需要时间；多个JVM中的任务再在各自的JVM中并行运行
-
若将所有任务在appMaster的JVM中==顺序执行==的话，更高效，那么appMaster就会这么做 ，任务作为uber任务运行
-
小作业判断依据：①小于10个map任务；②只有一个reduce任务；③MR输入大小小于一个HDFS块大小
-
如何开启uber?设置属性 mapreduce.job.ubertask.enable 值为true
-
在运行任何task之前，appMaster调用setupJob()方法，创建OutputCommitter，创建作业的最终输出目录（一般为HDFS上的目录）及任务输出的临时目录（如map任务的中间结果输出目录）
-
-
⑧若作业不以uber任务方式运行，那么appMaster会为作业中的每一个任务（map任务、reduce任务）向RM请求container
-
由于reduce任务在进入排序阶段之前，所有的map任务必须执行完成；所以，为map任务申请容器要优先于为reduce任务申请容器
-
5%的map任务执行完成后，才开始为reduce任务申请容器
-
为map任务申请容器时，遵循==数据本地化==，调度器尽量将容器调度在map任务的输入分片所在的节点上（==移动计算，不移动数据==）
-
reduce任务能在集群任意计算节点运行
-
默认情况下，为每个map任务、reduce任务分配1G内存、1个虚拟内核，由属性决定mapreduce.map.memory.mb、mapreduce.reduce.memory.mb、mapreduce.map.cpu.vcores、mapreduce.reduce.reduce.cpu.vcores
-
-
-
Task 任务执行
-
当调度器为当前任务分配了一个NodeManager（暂且称之为NM01）的容器，并将此信息传递给appMaster后；appMaster与NM01通信，告知NM01启动一个容器，并此容器占据特定的资源量（内存、CPU）
-
NM01收到消息后，启动容器，此容器占据指定的资源量
-
容器中运行YarnChild，由YarnChild运行当前任务（map、reduce）
-
⑩在容器中运行任务之前，先将运行任务需要的资源拉取到本地，如作业的JAR文件、配置文件、分布式缓存中的文件
-
-
作业运行进度与状态更新
-
作业job以及它的每个task都有状态（running、successfully completed、failed），当前任务的运行进度、作业计数器
-
任务在运行期间，每隔==3秒==向appMaster汇报执行进度、状态（包括计数器）
-
appMaster汇总目前运行的所有任务的上报的结果
-
客户端每隔1秒，轮询访问appMaster获得作业执行的最新状态，若有改变，则在控制台打印出来
-
-
完成作业
-
appMaster收到最后一个任务完成的报告后，将作业状态设置为成功
-
客户端轮询appMaster查询进度时，发现作业执行成功，程序从waitForCompletion()退出
-
作业的所有统计信息打印在控制台
-
appMaster及运行任务的容器，清理中间的输出结果，释放资源
-
作业信息被历史服务器保存，留待以后用户查询
-
