摘要：
本文主要讨论四个问题： （1）为什么会有冗余表的需求 （2）如何实现冗余表 （3）正反冗余表谁先执行 （4）冗余表如何保证数据的一致性 一、需求缘起 互联网很多业务场景的数据量很大，此时数据库架构要进行水平切分，水平切分会有一个patition key，通过patition key的查询能够直接定位到库，但是非patition key上的查询可能就需要扫描多个库了。 例如订单表... 阅读全文
摘要：
本文主要讨论这么几个问题： （1）“缓存与数据库”需求缘起 （2）“淘汰缓存”还是“更新缓存” （3）缓存和数据库的操作时序 （4）缓存和数据库架构简析 一、需求缘起 场景介绍 缓存是一种提高系统读性能的常见技术，对于读多写少的应用场景，我们经常使用缓存来进行优化。 例如对于用户的余额信息表account(uid, money)，业务上的需求是： （1）查询用户的余额，SE... 阅读全文
摘要：
引言 狭义的分布式系统指由网络连接的计算机系统，每个节点独立地承担计算或存储任务，节点间通过网络协同工作。广义的分布式系统是一个相对的概念，正如Leslie Lamport所说[1]： What is a distributed systeme. Distribution is in the eye of the beholder.To the user sitting at the keybo... 阅读全文
摘要：
缘起：受@萧田国 萧总邀请，上周五晚上在“高效运维1号群”内分享了《58同城数据库软件架构设计与实践》（这个topic今年在数据库大会上分享过），应组织方要求，发出纪要。 一、基本概念 二、数据库架构设计思路 （1）可用性 （2）读性能 （3）一致性 （4）扩展性 一、基本概念 概念一“单库” 概念二“分片” 分片解决的是“数据量太大”的问题，也就是通常说的“水平切分”。 一旦引入分片，... 阅读全文
摘要：
这个HASH算法不是大学里数据结构课里那个HASH表的算法。这里的HASH算法是密码学的基础，比较常用的有MD5和SHA，最重要的两条性质，就是不可逆和无冲突。所谓不可逆，就是当你知道x的HASH值，无法求出x；所谓无冲突，就是当你知道x，无法求出一个y， 使x与y的HASH值相同。 这两条性质在数学上都是不成立的。因为一个函数必然可逆，且由于HASH函数的值域有限，理论上会有无穷多个不同的原始值... 阅读全文
摘要：
一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希（DHT）实现算法，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简 单哈希算法带来的问题，使得分布式哈希（DHT）可以在P2P环境中真正得到应用。 一致性hash算法提出了在动态变化的Cache环境中，判定哈希算法好坏的四个定义： 1、平衡性(Balanc... 阅读全文
摘要：
一分钟系列之《啥，又要为表增加一列属性？》分享了两种数据库属性扩展思路，被喷得厉害。第二天补充了一篇《这才是真正的表扩展方案》，分享了互联网大数据高并发情况下，数据库属性扩容的成熟工具及思路。 对于version + ext方案，还是有很多朋友质疑“线上不可能这么用”。本篇将讲述一下58同城最核心的数据“帖子”的架构实现技术细节，说明不仅不是“不可能这么用”，而是大数据，可变属性，高吞吐场景下的... 阅读全文
摘要：
事情变得有意思了，上一篇花1小时撰写的“一分钟”文章，又引起了广泛的讨论，说明相关的技术大家感兴趣，挺好。第一次一篇技术文章的评论量过100，才知道原来“评论精选”还有100上限，甚为欣慰（虽然是以一种自己不愿看到的方式）。 《啥，又要为表增加一列属性？》的方案颇有争议： （1）版本号version + 扩展字段ext （2）用增加列的key+value方式扩充属性 有些评论，只能说“所谓夏虫，何... 阅读全文
摘要：
需求缘起 产品第一版：用户有用户名、密码、昵称等三个属性,对应表设计： user(uid, name, passwd, nick) 第二版，产品经理增加了年龄，性别两个属性,表结构可能要变成： user(uid, name, passwd, nick, age, sex) 假设数据量和并发量比较大，怎么变？ （1）alter table add column？不太可行，锁表时间长 （2）新表+触发... 阅读全文
摘要：
昨晚十点下班，回家花了1个小时写了一篇《一分钟实现分布式锁》，引起读者一些反响，有些朋友反馈“setnx算什么方案”，“没有考虑超时”，“为啥不用zookeeper”，有甚者上升到 “质疑58同城的技术水平”，“拉低了架构师的层次”，“适合小学生阅读”。 给58带来负面的影响实在对不起公司，也抱歉耽误部分同学1分钟时间（还好是1分钟系列），不过大部分读者的反馈是正向的，只生气了5分钟。 技术领域，... 阅读全文