Hadoop入门(7)--MapReduce

MapReduce原理

分而治之,将一个大的任务拆分成很多小的子任务(map),并行执行后,合并结果(reduce)。
这里写图片描述

MapReduce 运行流程

1 Job&Task
一个job会被拆分成多个Task
Task又分为

  • MapTask
  • ReduceTask
    这里写图片描述

JobTracker的角色

  • 作业调度
  • 分配任务、监控任务执行进度
  • 监控TaskTracker的状态

TaskTracker的角色

  • 执行任务
  • 汇报任务状态

MapReduce作业执行过程

这里写图片描述

MapReduce的容错机制

1 重复执行
最大重复执行4次,还是失败,则放弃执行
2推测执行
TaskTracker执行同一个任务时,其中有一个节点过慢
这里写图片描述
算的慢的继续算,再找一个TaskTracker算这个任务,谁先算完用那个,慢的停止
这里写图片描述

posted @ 2018-07-29 16:36  oifengo  阅读(178)  评论(0编辑  收藏  举报