2014 年 8月随笔档案 - esingchan

MapReduce剖析笔记之七：Child子进程处理Map和Reduce任务的主要流程

摘要：在上一节我们分析了TaskTracker如何对JobTracker分配过来的任务进行初始化，并创建各类JVM启动所需的信息，最终创建JVM的整个过程，本节我们继续来看，JVM启动后，执行的是Child类中的Main方法，这个方法是如何执行的。1，从命令参数中解析相应参数，获取JVMID、建立RPC连... 阅读全文

posted @ 2014-08-31 00:18 esingchan 阅读(2010) 评论(0) 推荐(0) 编辑

MapReduce剖析笔记之六：TaskTracker初始化任务并启动JVM过程

摘要：在上面一节我们分析了JobTracker调用JobQueueTaskScheduler进行任务分配，JobQueueTaskScheduler又调用JobInProgress按照一定顺序查找任务的流程，获得了任务之后，将任务封装为TaskTrackerAction数组返回的整个过程。TaskTrac... 阅读全文

posted @ 2014-08-30 18:52 esingchan 阅读(1879) 评论(0) 推荐(0) 编辑

MapReduce剖析笔记之五：Map与Reduce任务分配过程

摘要：在上一节分析了TaskTracker和JobTracker之间通过周期的心跳消息获取任务分配结果的过程。中间留了一个问题，就是任务到底是怎么分配的。任务的分配自然是由JobTracker做出来的，具体来说，存在一个抽象类：TaskScheduler，主要负责分配任务，继承该类的有几个类：Capaci... 阅读全文

posted @ 2014-08-30 04:49 esingchan 阅读(8003) 评论(1) 推荐(2) 编辑

MapReduce剖析笔记之四：TaskTracker通过心跳机制获取任务的流程

摘要：上一节分析到了JobTracker把作业从队列里取出来并进行了初始化，所谓的初始化，主要是获取了Map、Reduce任务的数量，并统计了哪些DataNode所在的服务器可以处理哪些Split等等，将这些信息缓存起来，但还没有进行实质的分配。等待TaskTracker跟自己通信。TaskTracker... 阅读全文

posted @ 2014-08-17 22:38 esingchan 阅读(1772) 评论(0) 推荐(0) 编辑

Hadoop2.2.0安装过程记录

摘要：1 安装环境1.1 客户端1.2 服务端1.3 安装准备 2 操作系统安装2.1.1 BIOS打开虚拟化支持2.1.2 关闭防火墙2.1.3 安装VNC3 JAVA安装 3.1 配置目的3.2 配置过程3.3 结果验证4 主机名配置4.1 配置目的4.2 配置过程4.3 结果验证5 增加hadoop... 阅读全文

posted @ 2014-08-17 05:37 esingchan 阅读(894) 评论(0) 推荐(0) 编辑

序列化笔记之一：Google的Protocol Buffer格式分析

摘要：从公开介绍来看，ProtocolBuffer(PB)是google 的一种数据交换的格式，它独立于语言，独立于平台。作为一个学了多年通信的人，ProtocolBuffer在我看来是一种信源编码。所谓信源编码，就是将待传输的信源符号经过某种变换，转换成码流进行传输的这个变换过程。信源编码可分为两类：有... 阅读全文

posted @ 2014-08-17 05:00 esingchan 阅读(2541) 评论(1) 推荐(0) 编辑

MapReduce剖析笔记之三：Job的Map/Reduce Task初始化

摘要：上一节分析了Job由JobClient提交到JobTracker的流程，利用RPC机制，JobTracker接收到Job ID和Job所在HDFS的目录，够早了JobInProgress对象，丢入队列，另一个线程从队列中取出JobInProgress对象，并丢入线程池中执行，执行JobInProgr... 阅读全文

posted @ 2014-08-17 02:59 esingchan 阅读(2964) 评论(1) 推荐(0) 编辑

MapReduce剖析笔记之二：Job提交的过程

摘要：上一节以WordCount分析了MapReduce的基本执行流程，但并没有从框架上进行分析，这一部分工作在后续慢慢补充。这一节，先剖析一下作业提交过程。在分析之前，我们先进行一下粗略的思考，如果要我们自己设计分布式计算，应该怎么设计呢？假定有100个任务要并发执行，每个任务分别针对一块数据，这些数据... 阅读全文

posted @ 2014-08-17 01:33 esingchan 阅读(9893) 评论(0) 推荐(0) 编辑

MapReduce剖析笔记之一：从WordCount理解MapReduce的几个阶段

摘要：WordCount是一个入门的MapReduce程序（从src\examples\org\apache\hadoop\examples粘贴过来的）：package org.apache.hadoop.examples;import java.io.IOException;import java.ut... 阅读全文

posted @ 2014-08-16 23:33 esingchan 阅读(6262) 评论(3) 推荐(3) 编辑

搜索

常用链接

我的标签

随笔档案

阅读排行榜

评论排行榜

推荐排行榜

最新评论