esingchan - 博客园

2014年8月17日

摘要：上一节以WordCount分析了MapReduce的基本执行流程，但并没有从框架上进行分析，这一部分工作在后续慢慢补充。这一节，先剖析一下作业提交过程。在分析之前，我们先进行一下粗略的思考，如果要我们自己设计分布式计算，应该怎么设计呢？假定有100个任务要并发执行，每个任务分别针对一块数据，这些数据... 阅读全文

posted @ 2014-08-17 01:33 esingchan 阅读(9873) 评论(0) 推荐(0) 编辑

2014年8月16日

MapReduce剖析笔记之一：从WordCount理解MapReduce的几个阶段

摘要： WordCount是一个入门的MapReduce程序（从src\examples\org\apache\hadoop\examples粘贴过来的）：package org.apache.hadoop.examples;import java.io.IOException;import java.ut... 阅读全文

posted @ 2014-08-16 23:33 esingchan 阅读(6248) 评论(3) 推荐(3) 编辑