Hadoop InputFormat浅析 <转>
摘要：
在执行一个Job的时候，Hadoop会将输入数据划分成N个Split，然后启动相应的N个Map程序来分别处理它们。数据如何划分？Split如何调度（如何决定处理Split的Map程序应该运行在哪台TaskTracker机器上）？划分后的数据又如何读取？这就是本文所要讨论的问题。先从一张经典的MapReduce工作流程图出发：http://hiphotos.baidu.com/_kouu/pic/item/d7e35c83265e5bcb6c8119de.jpg 1、运行mapred程序；2、本次运行将生成一个Job，于是JobClient向JobTracker申请一个JobID以标识这个Job 阅读全文
posted @ 2012-07-04 11:05 要么牛逼,要么滚蛋 阅读(246) 评论(0) 推荐(0) 编辑
