摘要: job提交源码分析 在eclipse中的写的代码如何提交作业到JobTracker中的哪?(1)在eclipse中调用的job.waitForCompletion(true)实际上执行如下方法 connect(); info = jobClient.submitJobInternal(conf); 阅读全文
posted @ 2017-03-30 23:19 ahu-lichang 阅读(672) 评论(0) 推荐(0) 编辑
摘要: MapReduce简介 MapReduce执行流程 MapReduce原理 MapReduce的执行步骤: 1、Map任务处理 1.1 读取HDFS中的文件。每一行解析成一个<k,v>。每一个键值对调用一次map函数。 <0,hello you> <10,hello me> 1.2 覆盖map(), 阅读全文
posted @ 2017-03-30 11:20 ahu-lichang 阅读(113779) 评论(4) 推荐(7) 编辑