Panda110

摘要： 第8章， 分布式系统的麻烦. 概览 分布式系统与单机软件相比， 容易出错的多， 这里我们主要讨论几个问题 网络的问题 时钟和时序问题 思考一个分布式系统的状态，以及如何推理发生的事情 漫谈 部分失效（partition failure） 在分布式系统中，尽管系统的其他部分工作正常，但系统的某些部分可 阅读全文

摘要： 第7章, 事务. 概览 事务是提供一种保证, 要么所有写入操作都成功, 要么都失败 ACID的概念解读. 隔离级别: 读未提交(Read Uncommitted), 读已提交(Read Committed), 快照隔离(snapshot isolation), 可重复读(repeatable rea 阅读全文

摘要： 第6章, 分区. 概览 当我们的数据量很大时, 不适合放在一个数据库的时候, 就需要做分区了, 也就是常说的分库分表. 分区的理想状态是: 数据均衡分布, 数据不是集中在某部分节点 容易查询, 例如根据键值可以很容易知道数据在哪个分区, 避免一次查询多个分区 易扩展, 当要新增或者减少分区时, 减少 阅读全文

摘要： 第5章, 复制. 概览 几个问题 复制会有多台服务器, 就有主次之分. 单主, 多主, 无主? 复制是采用同步还是异步? 复制是为可用性做准备, 主库宕机, 如何切换, 从库宕机, 如何追赶? 复制的实现方式, 是基于语句的复制, 还是基于行的复制? 复制是有延时的, 读写是否分离, 如何避免幻读? 阅读全文

摘要： 本次看的是第4章, 编码与演化. 概览 系统兼容性: 向后兼容(backward compatibility) 新代码可以读旧数据, 向前兼容(forward compatibility) 旧代码可以读新数据. 向后兼容不难, 向前兼容更麻烦. 在我们的应用开发中经常要考虑兼容性的问题. 网络传输编 阅读全文

摘要： 本次看的是第3章, 数据存储与检索 概览 存储引擎分为2类, OLTP(事务处理)和OLAP(在线分析). 一般用的数据库Oracle, MySQL, SQLServer等属于OLTP, 一般说的Data Warehouse(数据仓库)是OLAP, 一般用来生成报表. 对于小数据来说, 普通的数据库 阅读全文

摘要： 这次读的书是DDIA, Designing Data-Intensive Application, 中文<设计数据密集型应用>, 我看的是翻译https://github.com/Vonng/ddia. 读书计划如下: | 第一部分：数据系统基础 | | | | | | | | | | | | 第1 阅读全文

摘要： 论文地址: https://pdos.csail.mit.edu/6.824/papers/vm-ft.pdf 概述 要想保证可用性, 有一种常用的策略是使用主备策略, 主服务挂了, 立刻切换到备份服务器. 主要有2种办法. 将主服务器的数据实时传送到备份服务器, 包括CPU, 内存, I/O等, 阅读全文

摘要： 论文地址: https://pdos.csail.mit.edu/6.824/papers/gfs.pdf 为了满足 google快速增长的数据处理需求，我们设计实现了 google文件系统(GFS)。GFS 与传统的分布式文件系统具有很多相同的目标比如性能、可扩展性、可靠性、可用性. 设计 GFS 阅读全文

摘要： 计划 第1周 LEC 1: Introduction 第2周 Lab 1: MapReduce 第3周 LEC 2: RPC and Threads 第4周 LEC 3: GFS 第5周 Lab 2: Raft 第6周 LEC 4: Primary-Backup Replication, 第7周 L 阅读全文