随笔分类 - 分布式系统设计
分布式学习：Raft算法以及具体实现
摘要：Raft算法 一致性算法的要求： 安全性，网络延迟、分区、丢包、重复和乱序等错误需要保证正确 可用性：集群中只需要大多数机器即可运行 不依赖时序保证一致性 三种状态：follower，candidate，leader 任期：逻辑时钟的作用，每一段任期从一次选举开始 分票可能会导致一个任期没有lead
分布式学习：MapReduce
摘要：MapReduce的设计 MapReduce 是一种用于处理大规模数据集的编程模型和处理框架，它执行的三个阶段： map阶段：master将输入数据分成M个独立数据块，并将每一个数据块交给一个map-worker来执行map任务（将输入数据转换为键值对的形式，然后对每个键值对执行某种操作，生成中间结
分布式学习：GFS
摘要：master不记录哪些chunkserver拥有特定chunk副本，只在启动时轮询获得该信息，并通过定期的heartbeat消息监控所有chunkserver的状态 操作日志：包含元数据更改的历史记录，以及并发操作顺序的逻辑时间线（由此标记文件和块的版本号），只有将日志更新到本地和远程磁盘后，才能响
