08 2017 档案
摘要：数据库水平切分是一个很有意思的话题，不同业务类型，数据库水平切分的方法不同。 本篇将以“订单中心”为例，介绍“多key”类业务，随着数据量的逐步增大，数据库性能显著降低，数据库水平切分相关的架构实践。 一、什么是“多key”类业务 所谓的“多key”，是指一条元数据中，有多个属性上存在前台在线查询需
阅读全文
摘要：一、需求缘起 几乎所有的业务系统，都有生成一个唯一记录标识的需求，例如： 消息标识：message-id 订单标识：order-id 帖子标识：tiezi-id 消息标识：message-id 订单标识：order-id 帖子标识：tiezi-id 这个记录标识往往就是数据库中的主键，数据库上会建立
阅读全文
摘要：事情变得有意思了，上一篇花1小时撰写的“一分钟”文章，又引起了广泛的讨论，说明相关的技术大家感兴趣，挺好。第一次一篇技术文章的评论量过100，才知道原来“评论精选”还有100上限，甚为欣慰（虽然是以一种自己不愿看到的方式）。 《啥，又要为表增加一列属性？》的方案颇有争议： （1）版本号version
阅读全文
摘要：需求缘起 产品第一版：用户有用户名、密码、昵称等三个属性,对应表设计： user(uid, name, passwd, nick) 第二版，产品经理增加了年龄，性别两个属性,表结构可能要变成： user(uid, name, passwd, nick, age, sex) 假设数据量和并发量比较大，
阅读全文
摘要：本文主要讨论四个问题： （1）为什么会有冗余表的需求 （2）如何实现冗余表 （3）正反冗余表谁先执行 （4）冗余表如何保证数据的一致性 一、需求缘起 互联网很多业务场景的数据量很大，此时数据库架构要进行水平切分，水平切分会有一个patition key，通过patition key的查询能够直接定位
阅读全文
摘要：本文主要讨论这么几个问题： （1）“缓存与数据库”需求缘起 （2）“淘汰缓存”还是“更新缓存” （3）缓存和数据库的操作时序 （4）缓存和数据库架构简析 一、需求缘起 场景介绍 缓存是一种提高系统读性能的常见技术，对于读多写少的应用场景，我们经常使用缓存来进行优化。 例如对于用户的余额信息表acco
阅读全文
摘要：本文主要讨论这么几个问题： （1）啥时候数据库和缓存中的数据会不一致 （2）不一致优化思路 （3）如何保证数据库与缓存的一致性 一、需求缘起 上一篇《缓存架构设计细节二三事》（点击查看）引起了广泛的讨论，其中有一个结论：当数据发生变化时，“先淘汰缓存，再修改数据库”这个点是大家讨论的最多的。 上篇文
阅读全文
摘要：对于一些数据量较大的系统，数据库面临的问题除了查询效率低下，还有就是数据入库时间长。特别像报表系统，可能每天花费在数据导入上的时间就会长达几个小时之久。因此，优化数据库插入性能是很有意义的。网络上的牛人很多，总会有一些手段可以提高insert效率，大家跟我一起分享一下吧： 1. 一条SQL语句插入多
阅读全文
摘要：当我们在生产线上用一台服务器来提供数据服务的时候，我会遇到如下的两个问题： 1）一台服务器的性能不足以提供足够的能力服务于所有的网络请求。 2）我们总是害怕我们的这台服务器停机，造成服务不可用或是数据丢失。 于是我们不得不对我们的服务器进行扩展，加入更多的机器来分担性能上的问题，以及来解决单点故障问
阅读全文
摘要：看到好些人在写更新缓存数据代码时，先删除缓存，然后再更新数据库，而后续的操作会把数据再装载的缓存中。然而，这个是逻辑是错误的。试想，两个并发操作，一个是更新操作，另一个是查询操作，更新操作删除缓存后，查询操作没有命中缓存，先把老数据读出来后放到缓存中，然后更新操作更新了数据库。于是，在缓存中的数据还
阅读全文
摘要：一、需求缘起 大部分互联网的业务都是“读多写少”的场景，数据库层面，读性能往往成为瓶颈。如下图：业界通常采用“一主多从，读写分离，冗余多个读库”的数据库架构来提升数据库的读性能。 这种架构的一个潜在缺点是，业务方有可能读取到并不是最新的旧数据： （1）系统先对DB-master进行了一个写操作，写主
阅读全文
摘要：一、什么是高可用 高可用HA（High Availability）是分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计减少系统不能提供服务的时间。 假设系统一直能够提供服务，我们说系统的可用性是100%。 如果系统每运行100个时间单位，会有1个时间单位无法提供服务，我们说系统的可用性是9
阅读全文
摘要：一、什么是高并发 高并发（High Concurrency）是互联网分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计保证系统能够同时并行处理很多请求。 高并发相关常用的一些指标有响应时间（Response Time），吞吐量（Throughput），每秒查询率QPS（Query Per
阅读全文
摘要：一、需求缘起 分页需求 互联网很多业务都有分页拉取数据的需求，例如： （1）微信消息过多时，拉取第N页消息 （2）京东下单过多时，拉取第N页订单 （3）浏览58同城，查看第N页帖子 这些业务场景对应的消息表，订单表，帖子表分页拉取需求有这样一些特点： （1）有一个业务主键id, 例如msg_id,
阅读全文
摘要：一、双主保证高可用 MySQL数据库集群常使用一主多从，主从同步，读写分离的方式来扩充数据库的读性能，保证读库的高可用，但此时写库仍然是单点。 在一个MySQL数据库集群中可以设置两个主库，并设置双向同步，以冗余写库的方式来保证写库的高可用。 二、并发引发不一致 数据冗余会引发数据的一致性问题，因为
阅读全文
摘要：什么是数据一致性? 在数据有多分副本的情况下，如果网络、服务器或者软件出现故障，会导致部分副本写入成功，部分副本写入失败。这就造成各个副本之间的数据不一致，数据内容冲突。 实践中，导致数据不一致的情况有很多种，表现样式也多种多样，比如数据更新返回操作失败，事实上数据在存储服务器已经更新成功。 CAP
阅读全文
摘要：执行以上代码，0和字符串是可以匹配成功的。 原因是在in_array，如果比较的类型不匹配，并且第一个参数是0，它会返回true（不正确）。 查手册：If the third parameter strict is set to TRUE then the in_array() function w
阅读全文
摘要：一、什么是OAuth协议 OAuth 协议为用户资源的授权提供了一个安全的、开放而又简易的标准。与以往的授权方式不同之处是 OAuth的授权不会使第三方触及到用户的帐号信息（如用户名与密码），即第三方无需使用用户的用户名与密码就可以申请获得该用户资源的授权，因此 OAuth是安全的。OAuth 是
阅读全文
摘要：本次分享大纲 一、软件负载均衡概述 硬件负载均衡性能优越，功能全面，但是价格昂贵，一般适合初期或者土豪级公司长期使用。因此软件负载均衡在互联网领域大量使用。常用的软件负载均衡软件有Nginx，Lvs，HaProxy等。本文参考大量文档，部分为直接拷贝，参考出处见负载均衡详解（4）。 二、Ngnix负
阅读全文
摘要：面对大量用户访问、高并发请求，海量数据，可以使用高性能的服务器、大型数据库，存储设备，高性能Web服务器，采用高效率的编程语言比如(Go,Scala)等，当单机容量达到极限时，我们需要考虑业务拆分和分布式部署，来解决大型网站访问量大，并发量高，海量数据的问题。 从单机网站到分布式网站，很重要的区别是
阅读全文
摘要：今天咱们来聊聊高可用系统架构的热点——异地多活。 现在比较吊的多活方式是异地三节点，有多少公司真正实现了就不得而知了。为什么要做异地多活，主要是为了提升系统的容灾能力，比如单机房的网络故障、地震火灾等不可抗因素，都有可能造成整个机房瘫痪。 在上一家公司负责支付系统开发的时候，由于我们在天津机房的硬件
阅读全文
摘要：创建Docker Hub账户 登录和上传镜像到Hub.docker.com 镜像地址修改 在国内从Docker Hub中拉取镜像，有时会超时，可以通过以下方法进行添加国内镜像： 每次下载镜像时加镜像地址（一次下载有效） docker守护进程启动时加国内镜像地址（一次守护进程运行有效） 修改 /etc
阅读全文
摘要：MyISAM是MySQL的默认数据库引擎（5.5版之前），由早期的ISAM（Indexed Sequential Access Method：有索引的顺序访问方法）所改良。虽然性能极佳，但却有一个缺点：不支持事务处理（transaction）。不过，在这几年的发展下，MySQL也导入了InnoDB（
阅读全文
摘要：摘自：http://blog.csdn.net/oldmtn/article/details/52208747 1. 基本原理 公司一个项目要进行交易数据传输,因为这个项目银行那边也是刚刚开始启动,所有的支持只有一个传输字段的说明文档,好吧,总的有人做事不是嘛,于是接口开发正式展开,第一步的难点就是
阅读全文
