随笔 - 40  文章 - 0  评论 - 48  阅读 - 13万
  2017年6月18日

Google File System

第三课的准备是阅读论文GFS。该论文是分布式系统中经典论文之一。

读完做一点小总结。

GFS的feature

1. 非POXIS接口API,支持对文件和文件夹的创建,读,写,增加,重命名和创建快照操作。

2. 有多个商用Linux机器做节点,称为chunk server,数据存放在chunk server上。

3. 有一个master节点,用于发送控制指令。

4. client通过调用API,和master做控制命令交换,和check server 做数据交换。

5. 对Append操作友好,对小文件随机读写不友好。

6. 重命名和Recore Append是原子操作。

7. 读操作可能返回不一致数据。

GFS的一些实现细节

1. 读写最小单位是所谓的64M大小的chunk。chunk存放在chunk server上。

2. 每个chunk 用64位唯一的handle表示。

3. master节点存放控制信息/chunk位置在内存中,同时持久化operation log用于recover。

4. master节点以一定策略决定chunk 的replacement,保证chunk均匀分布。

5. chunk server在restart的时候发送其本机上chunk信息。

6. chunk server随时可能宕机,master节点通过heartbeat消息报活。

7. 每个chunk有三份拷贝。其中一个称为primary。对chunk数据的更改顺序,统一由primary统筹,然后apply到其他拷贝。

8 每个chunk又分为64KB的block,每个block包含checksum,用于数据完整性检查。

GFS的读操作

1. client 把文件名和要读取的byte位移,通过API,映射成该文件中的chunk 序号。

2. client 发送包含文件名和chunk序号的请求信息给master,master返回chunk handle和所有拷贝所在的位置。

3. client会cache master返回的信息。

4. client发送请求到其中一个拷贝,根据策略,可能是离client较近的一个。

5. 拷贝所在的chunk server根据chunk handle和offset返回数据给client。

6. 接下来的读操作无需master介入,除非cache失效或者文件重新打开。

GFS的写操作

写操作很类似2PC。

1. client 询问master 某chunk的primary 位置,以及其他replica位置。

2. master 返回primary和sencondary replica的位置,图中的A,B和C。client会cache这些信息,除非与primary失联,或者primary告知自己以及失去primary地位。

3. client发送所有要写的数据到A,B和C。这些chunk server会暂存这些数据,直到被下面的步骤用到或者过期。注意这时候写操作依然进行中,并没有生效。

4. 当A,B和C表示暂存完成,client发送正式的写请求给primary,告知暂存完成。primary于是给其收到的所有数据更改赋予一个序列号,然后依次应用到本地拷贝。

5. primary 发送写请求到其他拷贝,并要求按同样序列应用到各自拷贝中。

6. secondary拷贝向primary表示,应用成功。

7. primary向client表示,写完成。

在遇到写错误时,3)-7)可能会多次重试。失败后将重新从1)开始。

写操作是不安全的。如果有多个client同时写同一个地方,该区域将变成“Consistent but undefined”,就是说所有client最终看到同样的结果,但是数据乱了。

但是所谓的“Record Append”是安全的。在Record Append中,client仅仅指明这是一个Append操作,并不指明offset。GFS选择一个offset写入数据,并返回该offset给client。

 

和普通写一样,client把数据推送到所有的拷贝,然后发送写请求给primary。

primary 检查 append是否会使当前chunk超过最大64M限制。如果是,当前chunk pad到最大size,然后告知其他拷贝做同样操作,并回复client,表示操作应在下一个chunk重试。

如果并没有超过64M限制,primary 把数据放入拷贝,并告知其他拷贝,数据要写在“exact the same offset as primary”,也就是说,必须和我primary保持绝对一致的offset。

如果上面任意一步错误,client将重试。这种行为可能造成拷贝之间并不是完全一致。chunk中可能包含record中的一些重复数据。GFS在这里通过重试能保证的是,数据存在所有拷贝中的某些chunk中,有同样的offset,并且只有当所有步骤完成后,primary返回的offset被认为是该Record的“defined start”。这中间可能包含无定义的,不一致信息。

而client在读取的时候,可以通过checksum来判断数据的重复性和一致性。

posted @ 2017-06-18 21:12 lichen782 阅读(414) 评论(0) 推荐(0) 编辑
  2017年6月15日
摘要: 6.824的课程通常是在课前让你做一些准备。一般来说是先读一篇论文,然后请你提一个问题,再请你回答一个问题。然后上课,然后布置Lab。 第二课的准备-Crawler 第二课的准备不是论文,是让你实现Go Tour里面的crawler。Go Tour里面原有的实现是串行的,并且可能爬到相同的url。要 阅读全文
posted @ 2017-06-15 22:31 lichen782 阅读(390) 评论(0) 推荐(0) 编辑
摘要: 什么是Map-Reduce呢? Map指的是一个形如下面定义的函数。 它接受一个key和一个value,返回一组所谓的中间值。注意,返回的不是一个dict,所以k1可能等于k2。 Reduce指的是一个形如下面定义的函数。 它接受一个key和该key对应的所有在Map函数中返回的value,返回k值 阅读全文
posted @ 2017-06-15 21:19 lichen782 阅读(719) 评论(1) 推荐(0) 编辑
  2017年5月14日
摘要: 阅读http://book.mixu.net/distsys/replication.html的笔记,是本系列的第四章 拷贝其实是一组通信问题,为一些子问题,例如选举,失灵检测,一致性和原子广播提供了上下文。 同步拷贝 可以看到三个不同阶段,首先client发送请求。然后同步拷贝,同步意味着这时候c 阅读全文
posted @ 2017-05-14 19:02 lichen782 阅读(1422) 评论(0) 推荐(0) 编辑
  2017年5月13日
摘要: 这是阅读 http://book.mixu.net/distsys/time.html 的笔记,是该系列的第三章。 为什么时间和顺序很重要呢?为什么我们关系事件A发生在事件B之前? 因为分布式系统要解决的问题是把单机上的问题通过多机来解决。然而传统单机的程序总是假设确定的顺序。对于分布式程序来说,正 阅读全文
posted @ 2017-05-13 21:25 lichen782 阅读(908) 评论(0) 推荐(0) 编辑
摘要: 本文是阅读 http://book.mixu.net/distsys/abstractions.html 的笔记。 第二章的题目是"Up and down the level of abstraction"。这一章里面,作者主要介绍了分布式系统里面的一个重要概念:CAP理论。 什么是CAP理论呢?就 阅读全文
posted @ 2017-05-13 17:14 lichen782 阅读(1641) 评论(0) 推荐(0) 编辑
  2017年5月10日
摘要: 因为工作的原因,最近打算看一些分布式学习的资料。其中这个http://book.mixu.net/distsys/就是一篇非常适合分布式入门的介绍。 这个短小的材料有下面5个小的章节,图文并茂,也没有太难的概念,非常推荐。 现在我从第一章做个笔记。(年龄大了,这年头不做笔记不行啊。。。) 我比较喜欢 阅读全文
posted @ 2017-05-10 23:11 lichen782 阅读(957) 评论(0) 推荐(0) 编辑
  2016年2月28日
摘要: 这个题是说看一个没有排序的数组里面有没有三个递增的子序列,也即: Return true if there exists i, j, k such that arr[i] < arr[j] < arr[k] given 0 ≤ i < j < k ≤ n-1 else return false. 大 阅读全文
posted @ 2016-02-28 19:46 lichen782 阅读(604) 评论(0) 推荐(0) 编辑
  2015年3月18日
摘要: Design and implement a TwoSum class. It should support the following operations:addandfind.add- Add the number to an internal data structure.find- Fin... 阅读全文
posted @ 2015-03-18 20:34 lichen782 阅读(575) 评论(0) 推荐(0) 编辑
  2015年3月11日
摘要: Given an unsorted array, find the maximum difference between the successive elements in its sorted form.Try to solve it in linear time/space.Return 0 ... 阅读全文
posted @ 2015-03-11 22:19 lichen782 阅读(302) 评论(0) 推荐(0) 编辑
< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

点击右上角即可分享
微信分享提示