会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
esingchan
博客园
首页
新随笔
联系
订阅
管理
随笔 - 12 文章 - 0 评论 - 77 阅读 -
19万
2014年9月7日
分布式理论之一:Paxos算法的通俗理解
摘要: 维基的简介:Paxos算法是莱斯利·兰伯特(Leslie Lamport,就是 LaTeX 中的"La",此人现在在微软研究院)于1990年提出的一种基于消息传递且具有高度容错特性的一致性算法。Paxos算法目前在Google的Chubby、MegaStore、Spanner等系统中得到了应用,Ha...
阅读全文
posted @ 2014-09-07 12:38 esingchan
阅读(39832)
评论(11)
推荐(11)
编辑
2014年9月6日
ZIP压缩算法详细分析及解压实例解释
摘要: 最近自己实现了一个ZIP压缩数据的解压程序,觉得有必要把ZIP压缩格式进行一下详细总结,数据压缩是一门通信原理和计算机科学都会涉及到的学科,在通信原理中,一般称为信源编码,在计算机科学里,一般称为数据压缩,两者本质上没啥区别,在数学家看来,都是映射。一方面在进行通信的时候,有必要将待传输的数据进行压...
阅读全文
posted @ 2014-09-06 20:51 esingchan
阅读(116045)
评论(58)
推荐(127)
编辑
2014年9月4日
MapReduce剖析笔记之八: Map输出数据的处理类MapOutputBuffer分析
摘要: 在上一节我们分析了Child子进程启动,处理Map、Reduce任务的主要过程,但对于一些细节没有分析,这一节主要对MapOutputBuffer这个关键类进行分析。MapOutputBuffer顾名思义就是Map输出结果的一个Buffer,用户在编写map方法的时候有一个参数OutputColle...
阅读全文
posted @ 2014-09-04 00:39 esingchan
阅读(4704)
评论(2)
推荐(6)
编辑
2014年8月31日
MapReduce剖析笔记之七:Child子进程处理Map和Reduce任务的主要流程
摘要: 在上一节我们分析了TaskTracker如何对JobTracker分配过来的任务进行初始化,并创建各类JVM启动所需的信息,最终创建JVM的整个过程,本节我们继续来看,JVM启动后,执行的是Child类中的Main方法,这个方法是如何执行的。1,从命令参数中解析相应参数,获取JVMID、建立RPC连...
阅读全文
posted @ 2014-08-31 00:18 esingchan
阅读(2008)
评论(0)
推荐(0)
编辑
2014年8月30日
MapReduce剖析笔记之六:TaskTracker初始化任务并启动JVM过程
摘要: 在上面一节我们分析了JobTracker调用JobQueueTaskScheduler进行任务分配,JobQueueTaskScheduler又调用JobInProgress按照一定顺序查找任务的流程,获得了任务之后,将任务封装为TaskTrackerAction数组返回的整个过程。TaskTrac...
阅读全文
posted @ 2014-08-30 18:52 esingchan
阅读(1878)
评论(0)
推荐(0)
编辑
MapReduce剖析笔记之五:Map与Reduce任务分配过程
摘要: 在上一节分析了TaskTracker和JobTracker之间通过周期的心跳消息获取任务分配结果的过程。中间留了一个问题,就是任务到底是怎么分配的。任务的分配自然是由JobTracker做出来的,具体来说,存在一个抽象类:TaskScheduler,主要负责分配任务,继承该类的有几个类:Capaci...
阅读全文
posted @ 2014-08-30 04:49 esingchan
阅读(7996)
评论(1)
推荐(2)
编辑
2014年8月17日
MapReduce剖析笔记之四:TaskTracker通过心跳机制获取任务的流程
摘要: 上一节分析到了JobTracker把作业从队列里取出来并进行了初始化,所谓的初始化,主要是获取了Map、Reduce任务的数量,并统计了哪些DataNode所在的服务器可以处理哪些Split等等,将这些信息缓存起来,但还没有进行实质的分配。等待TaskTracker跟自己通信。TaskTracker...
阅读全文
posted @ 2014-08-17 22:38 esingchan
阅读(1772)
评论(0)
推荐(0)
编辑
Hadoop2.2.0安装过程记录
摘要: 1 安装环境1.1 客户端1.2 服务端1.3 安装准备 2 操作系统安装2.1.1 BIOS打开虚拟化支持2.1.2 关闭防火墙2.1.3 安装VNC3 JAVA安装 3.1 配置目的3.2 配置过程3.3 结果验证4 主机名配置4.1 配置目的4.2 配置过程4.3 结果验证5 增加hadoop...
阅读全文
posted @ 2014-08-17 05:37 esingchan
阅读(894)
评论(0)
推荐(0)
编辑
序列化笔记之一:Google的Protocol Buffer格式分析
摘要: 从公开介绍来看,ProtocolBuffer(PB)是google 的一种数据交换的格式,它独立于语言,独立于平台。作为一个学了多年通信的人,ProtocolBuffer在我看来是一种信源编码。所谓信源编码,就是将待传输的信源符号经过某种变换,转换成码流进行传输的这个变换过程。信源编码可分为两类:有...
阅读全文
posted @ 2014-08-17 05:00 esingchan
阅读(2540)
评论(1)
推荐(0)
编辑
MapReduce剖析笔记之三:Job的Map/Reduce Task初始化
摘要: 上一节分析了Job由JobClient提交到JobTracker的流程,利用RPC机制,JobTracker接收到Job ID和Job所在HDFS的目录,够早了JobInProgress对象,丢入队列,另一个线程从队列中取出JobInProgress对象,并丢入线程池中执行,执行JobInProgr...
阅读全文
posted @ 2014-08-17 02:59 esingchan
阅读(2964)
评论(1)
推荐(0)
编辑
下一页
昵称:
esingchan
园龄:
10年6个月
粉丝:
147
关注:
0
+加关注
<
2025年3月
>
日
一
二
三
四
五
六
23
24
25
26
27
28
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
1
2
3
4
5
搜索
常用链接
我的随笔
我的评论
我的参与
最新评论
我的标签
我的标签
MapReduce
(8)
JAVA
(7)
Hadoop
(1)
序列化
(1)
文件格式
(1)
数据压缩
(1)
分布式理论
(1)
随笔档案
2014年9月(3)
2014年8月(9)
阅读排行榜
1. ZIP压缩算法详细分析及解压实例解释(116045)
2. 分布式理论之一:Paxos算法的通俗理解(39832)
3. MapReduce剖析笔记之二:Job提交的过程(9891)
4. MapReduce剖析笔记之五:Map与Reduce任务分配过程(7996)
5. MapReduce剖析笔记之一:从WordCount理解MapReduce的几个阶段(6259)
评论排行榜
1. ZIP压缩算法详细分析及解压实例解释(58)
2. 分布式理论之一:Paxos算法的通俗理解(11)
3. MapReduce剖析笔记之一:从WordCount理解MapReduce的几个阶段(3)
4. MapReduce剖析笔记之八: Map输出数据的处理类MapOutputBuffer分析(2)
5. MapReduce剖析笔记之五:Map与Reduce任务分配过程(1)
推荐排行榜
1. ZIP压缩算法详细分析及解压实例解释(127)
2. 分布式理论之一:Paxos算法的通俗理解(11)
3. MapReduce剖析笔记之八: Map输出数据的处理类MapOutputBuffer分析(6)
4. MapReduce剖析笔记之一:从WordCount理解MapReduce的几个阶段(3)
5. MapReduce剖析笔记之五:Map与Reduce任务分配过程(2)
最新评论
1. Re:ZIP压缩算法详细分析及解压实例解释
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 3 0 0 0 0 0 0 0 0 0 0 0 6 0 6 0 0 0 ...
--DeanWT
2. Re:ZIP压缩算法详细分析及解压实例解释
@feicai Winhex软件...
--awegar
3. Re:ZIP压缩算法详细分析及解压实例解释
读了两遍,写的真好,网上一查到处都是copy的博主文章...
技术力不够虽然大体流程和功能搞明白了,但还有很多细节没搞懂...
--blogs_ggg
4. Re:ZIP压缩算法详细分析及解压实例解释
游程编码没有看懂!不知道博主在表达什么
--傀儡-
5. Re:分布式理论之一:Paxos算法的通俗理解
例子挺好的。赞!
--baiwfg2
点击右上角即可分享