摘要： 分布式存储 分布式数据复制技术 常用于数据备份 同步复制技术注重一致性，用户请求更新数据库时，主数据库要同步到备数据库后才结束阻塞返回给用户 异步复制技术注重可用性，用户更新数据时立即给用户响应，备数据库的更新会在之后异步执行。一般用于对用户请求响应时延要求很高的场景 半同步复制技术介于前二者之间， 阅读全文

摘要： 分布式计算模式之MR MapReduce就是将复杂的、难以直接解决的大问题，分割为规模较小的、可直接解决的小问题。这些子问题相互独立且和原问题形式相同，可递归地求解，然后将子问题的答案合并。核心步骤为 1.分解原问题 2.求解子问题 3.合并解 工作原理 Map对应分，Reduce对应合。主要包括3 阅读全文

摘要： 分布式体系结构之集中式结构 集中式结构就是由一台或多台机器组成中央服务器，所有数据存储于此，所有业务也先由其处理。多节点与中央服务器连接，并将自己信息汇报给中央服务器，由中央服务器同一进行资源和任务调度。特点是部署结构简单，中央节点无需考虑对任务的多节点部署，节点服务器间无需通信和协作，只要与中央服 阅读全文

摘要： 关于 电商系统：最看重吞吐量，为了更多的处理用户访问和订单业务 IoT：最看重资源占用率，在某些设备上资源都是KB级的 电信业务：最看重响应时间、完成时间、可用性，保证通话质量 HPC：最看重加速比，这种计算特带是耗时长 大数据：最看重加速比，处理时间较HPC短，但也到达小时级 云计算：最看重操作耗 阅读全文

摘要： GPT 继 BERT 之后，研究者们注意到了大规模预训练模型的潜力，不同的预训练任务、模型架构、训练策略等被提出。但 BERT 类模型通常存在两大缺点：一是过分依赖有标签数据；二是存在过拟合现象。 GPT1 传统NLP模型面临的两大缺点： 需要大量标注数据，高质量的标注数据往往很难获得 根据一个任务 阅读全文

摘要： Gossip 二阶段提交协议和Raft需要大部分节点能够工作，在极端情况，如只有一个节点能正常运行，这些方法就不适用了。根据Base理论要实现最终一致性。 Gossip协议利用一种随机、带有传染性的方式，将信息传播到网络中，并在一定时间内使所有节点数据一致。 直接邮寄（Direct Mail）：直接 阅读全文

摘要： 测试 单元测试 测试单一模块，且能够测试私有接口。 创建 tests 模块并使用 #[cfg(test)] 注解。一般测试模块与目标函数放置于同一个文件。 使用 cargo test 运行测试，cargo test name_slice 可运行指定测试 pub fn add(a: i32, b: i 阅读全文

摘要： paxos算法用于分布式共识，分成2部分 Basic Paxos算法，描述多节点间如何就某个值达成共识 Multi-Paxos算法，执行多个Basic Paxos实例，就一系列值达成共识 Basic Paxos 三种角色 提议者（Proposer）：（接入与协调）提出一个值用于投票表决，多数情况下接 阅读全文

摘要： 泛型 接口约束也可以是空接口 struct Empty; struct Null; /* impl Display for Empty, Null */ trait Drop<T> { fn drop(self, _: T); } impl<T: Display, U> Drop for U // 阅读全文

摘要： 在分布式系统中，最重要的事就是如何选择或设计最合适的算法，解决一致性和可用性相关问题。 Raft 适合性能要求不高的强一致性场景。 重试、幂等、异步、负载均衡、故障隔离、流量切换、自动扩缩容、熔断、限流、降级、容量规划 拜占庭将军问题 讨论了分布式共识问题，分布式领域最复杂的容错模型。 假设 ABC 阅读全文