天堂极乐鸟

摘要：# 第十二章 数据系统的未来 我们的目标是探索如何设计比今天更好的应用程序：强大、正确、可演化并最终使所有人受益。 数据集成 在复杂的应用程序中，数据通常以多种不同的方式被使用。不太可能存在适用于所有不同环境的软件，因此你不可避免地要将几个不同的软件组合在一起，以提供应用程序的功能性。 采用派生数据 阅读全文

摘要：第十一章 流处理系统 “流”是指随着时间的推移而持续可用的数据。 本章，我们将把事件流视为一种数据管理机制： 一种无界的、持续增量处理的方式。 发送事件流 通过文件或数据库也可以连接生产者和消费者 ： 生产者将其生成的每个事件写入数据存储， 井且每个消费者定期轮询数据存储以检查自上次运行以来出现的事 阅读全文

摘要：第三部分派生数据 我们将讨论如何将多个不同数据系统整合至一致的应用程序体系结构中。 记录系统与派生数据系统 存储与处理数据的系统按照高层次分类可以分为两大类： 记录系统：一个记录系统也被称为真实数据系统，拥有数据的权威版本。 派生数据系统：JK生数据系统中的数据则是从另一个系统中获取已有数据并以某种 阅读全文

摘要：一致性与共识 分布式系统存在太对可能出错的场景，如果不能接受服务终止，就需要更加容错的解决方案，这样即使某些内部组件发生了故障，整个系统依然可以对外提供服务。为了构建容错系统，最好先建立一套通用的抽象机制和与之对应的技术保证，这样只需实现一次 ，其上的各种应用程序都可以安全地信赖底层的保证。本章我们 阅读全文

摘要：Agenda定时任务学习 Agenda配置 database(url, [collectionName])：指定数据库URL，如果没有给出集合名字，则默认使用“agendaJobs” mongo(dbInstance)：使用一个已存在的mongoDB本地客户端实例 name(name)：用来设置“l 阅读全文

摘要：第八章 分布式系统的挑战 故障与部分失效 单台节点上的软件通常不应该出现模棱两可的现象：当硬件正常工作时，相同的操作通常总会产生相同的结果（即确定性），在单节点上一个质量合格的软件状态要么是功能正常，要么是完全失效，而不会介于两者之间。 在分布式系统中，可能会出现系统的一部分工作正常，但其他某些部分 阅读全文

摘要：第七章 事务 在数据系统运行过程中会出现各种故障，为了实现可靠性，系统必须处理这些故障。 事务（transaction） 一直是简化这些问题的首选机制。事务是应用程序将多个读写操作组合成一个逻辑单元的一种方式。从概念上讲，事务中的所有读写操作被视作单个操作来执行：整个事务要么成功（提交（commit 阅读全文

摘要：第二章 数据模型与查询语言 大多数应用程序是通过一层层叠加数据模型来构建的，每层都通关提供一个简洁的数据模型来隐藏下层的复杂性，这些抽象机制使得不同人群可以高效协作。不同的数据模型都有其最佳使用的若干假设，考虑到数据模型对其上的软件应用有着巨大影响，因此需要慎重选择合适的数据模型。 关系模型与文档模 阅读全文

摘要：基本配置 MongoDB版本 4.4 端口设置 分片0副本集rs0：27000,27001,27002 分片1副本集rs1：27010,27011,27012 分片2副本集rs2：27020,27021,27022 配置服务器副本集：27100,27101,27102 路由服务器mongos：272 阅读全文

摘要：第六章 数据分区 每个分区都可以视为一个完整的小型数据库，虽然数据库可能存在一些跨分区的操作。 数据分区与数据复制 分区通常与复制结合使用，使得每个分区的副本存储在多个节点上。 这意味着，即使每条记录属于一个分区，它仍然可以存储在多个不同的节点上以获得容错能力。 一个节点上可能存储了多个分区，每个分 阅读全文

摘要：第二部分 将数据库分布到多台机器上的原因： 可扩展性：数据量、读取负载、写入负载超出单台机器的处理能力 容错/高可用性：你的应用需要在单台机器（或多台机器，网络或整个数据中心）出现故障的情况下仍然能继续工作，则可使用多台机器，以提供冗余。 延迟：如果在世界各地都有用户，你也许会考虑在全球范围部署多个 阅读全文

摘要：第三章 存储与检索 驱动数据库的数据结构 使用一个函数实现在文件的末尾追加数据，另一个函数查找数据时从头到尾进行遍历查找。 这种方法对于极其简单的场景其实有非常好的性能，因为在文件尾部追加写入通常是非常高效的。 许多数据库在内部使用了日志（log），也就是一个 仅追加（append-only） 的数 阅读全文