摘要： 在MapReduce计算框架中，一个应用程序被划分为Map和Reduce两个计算阶段。他们分别由一个或多个Map Task 和Reduce Task组成。 Map Task： 处理输入数据集合中的一片数据，并将产生的若干个数据片段写到本地磁盘。 按照用户提供的InputFormat将对应的InputSpilt解析成一系列的key/value， 并以此交给用户编写的map()... 阅读全文

摘要： TaskTracker 是Hadoop集群中运行于各个节点上的服务。他是JobTracker和Task之间的“通信桥梁”。一方面它从JobTracker端接受并执行各种命令：比如运行任务、提交任务、杀死任务。 另一方面它将各个任务的状态周期性心跳汇报给JobTracker。 其两个功能： 汇报心跳： 机器级别信息：节点健康状况、资源使用情况。 任务级别信息：任务... 阅读全文