Hadoop入门(7)--MapReduce
MapReduce原理
分而治之,将一个大的任务拆分成很多小的子任务(map),并行执行后,合并结果(reduce)。
MapReduce 运行流程
1 Job&Task
一个job会被拆分成多个Task
Task又分为
- MapTask
- ReduceTask
JobTracker的角色
- 作业调度
- 分配任务、监控任务执行进度
- 监控TaskTracker的状态
TaskTracker的角色
- 执行任务
- 汇报任务状态
MapReduce作业执行过程
MapReduce的容错机制
1 重复执行
最大重复执行4次,还是失败,则放弃执行
2推测执行
TaskTracker执行同一个任务时,其中有一个节点过慢
算的慢的继续算,再找一个TaskTracker算这个任务,谁先算完用那个,慢的停止