大型网站架构系列：缓存在分布式系统中的应用（二）

缓存是分布式系统中的重要组件，主要解决高并发，大数据场景下，热点数据访问的性能问题。提供高性能的数据快速访问。

本文是缓存在分布式应用第二篇文章，介绍分布式缓存，Memcache，Redis，本地缓存（硬盘缓存，内存缓存）以及缓存在分布式系统中的架构示例。本文主要是自己的学习总结和网络文章摘录，供学习之用。

本次分享大纲

1. 缓存概述
2. CDN缓存
3. 反向代理缓存
4. 分布式缓存
5. 本地缓存
6. 缓存架构示例
7. 参考资料
8. 分享总结

四、分布式缓存

CDN,反向代理缓存，主要解决静态文件，或用户请求资源的缓存，数据源一般为静态文件或动态生成的文件（有缓存头标识）。

分布式缓存，主要指缓存用户经常访问数据的缓存，数据源为数据库。一般起到热点数据访问和减轻数据库压力的作用。

目前分布式缓存设计，在大型网站架构中是必备的架构要素。常用的中间件有Memcache，Redis。

4.1Memcache

Memcache是一个高性能，分布式内存对象缓存系统，通过在内存里维护一个统一的巨大的hash表，它能够用来存储各种格式的数据，包括图像、视频、文件以及数据库检索的结果等。简单的说就是将数据调用到内存中，然后从内存中读取，从而大大提高读取速度。

Memcache特性：

（1）使用物理内存作为缓存区，可独立运行在服务器上。每个进程最大2G，如果想缓存更多的数据，可以开辟更多的memcache进程（不同端口）或者使用分布式memcache进行缓存，将数据缓存到不同的物理机或者虚拟机上。

（2）使用key-value的方式来存储数据，这是一种单索引的结构化数据组织形式，可使数据项查询时间复杂度为O(1)。

（3）协议简单：基于文本行的协议，直接通过telnet在memcached服务器上可进行存取数据操作，简单，方便多种缓存参考此协议；

（4）基于libevent高性能通信：Libevent是一套利用C开发的程序库，它将BSD系统的kqueue,Linux系统的epoll等事件处理功能封装成一个接口，与传统的select相比，提高了性能。

（5）内置的内存管理方式：所有数据都保存在内存中，存取数据比硬盘快，当内存满后，通过LRU算法自动删除不使用的缓存，但没有考虑数据的容灾问题，重启服务，所有数据会丢失。

（6）分布式：各个memcached服务器之间互不通信，各自独立存取数据，不共享任何信息。服务器并不具有分布式功能，分布式部署取决于memcache客户端。

（7）缓存策略：Memcached的缓存策略是LRU（最近最少使用）到期失效策略。在memcached内存储数据项时，可以指定它在缓存的失效时间，默认为永久。当memcached服务器用完分配的内时，失效的数据被首先替换，然后也是最近未使用的数据。在LRU中，memcached使用的是一种Lazy Expiration策略，自己不会监控存入的key/vlue对是否过期，而是在获取key值时查看记录的时间戳，检查key/value对空间是否过期，这样可减轻服务器的负载。

 

4.1.1Memcache工作原理

 

MemCache的工作流程如下：

（1）              先检查客户端的请求数据是否在memcached中，如有，直接把请求数据返回，不再对数据库进行任何操作；

（2）              如果请求的数据不在memcached中，就去查数据库，把从数据库中获取的数据返回给客户端，同时把数据缓存一份到memcached中（memcached客户端不负责，需要程序实现）；

（3）              每次更新数据库的同时更新memcached中的数据，保证一致性；

（4）              当分配给memcached内存空间用完之后，会使用LRU（Least Recently Used，最近最少使用）策略加上到期失效策略，失效数据首先被替换，然后再替换掉最近未使用的数据。

4.1.2Memcache集群

memcached 虽然称为 “ 分布式 ” 缓存服务器，但服务器端并没有 “ 分布式 ” 功能。每个服务器都是完全独立和隔离的服务。 memcached 的分布式，是由客户端程序实现的。

当向memcached集群存入/取出key value时，memcached客户端程序根据一定的算法计算存入哪台服务器，然后再把key value值存到此服务器中。

存取数据分二步走，第一步，选择服务器，第二步存取数据。

分布式算法(Consistent Hashing)：

选择服务器算法有两种，一种是根据余数来计算分布，另一种是根据散列算法来计算分布。
余数算法：
    先求得键的整数散列值，再除以服务器台数，根据余数确定存取服务器。

优点：计算简单，高效；

缺点：在memcached服务器增加或减少时，几乎所有的缓存都会失效。
散列算法：（一致性Hash）
    先算出memcached服务器的散列值，并将其分布到0到2的32次方的圆上，然后用同样的方法算出存储数据的键的散列值并映射至圆上，最后从数据映射到的位置开始顺时针查找，将数据保存到查找到的第一个服务器上，如果超过2的32次方，依然找不到服务器，就将数据保存到第一台memcached服务器上。

 

如果添加了一台memcached服务器，只在圆上增加服务器的逆时针方向的第一台服务器上的键会受到影响。

一致性Hash算法：解决了余数算法增加节点命中大幅额度降低的问题，理论上，插入一个实体节点，平均会影响到：虚拟节点数 /2 的节点数据的命中。

4.2Redis

Redis 是一个开源（BSD许可）的，基于内存的，多数据结构存储系统。可以用作数据库、缓存和消息中间件。 支持多种类型的数据结构，如 字符串（strings）， 散列（hashes）， 列表（lists）， 集合（sets）， 有序集合（sorted sets） 与范围查询， bitmaps， hyperloglogs 和 地理空间（geospatial） 索引半径查询。

内置了 复制（replication），LUA脚本（Lua scripting）， LRU驱动事件（LRU eviction），事务（transactions） 和不同级别的 磁盘持久化（persistence）， 并通过 Redis哨兵（Sentinel）和自动分区（Cluster）提供高可用性（high availability）。

4.2.1Redis常用数据类型

1、String

　　常用命令：set,get,decr,incr,mget 。

　　应用场景：String是最常用的一种数据类型，与Memcache的key value存储方式类似。

　　实现方式：String在redis内部存储默认就是一个字符串，被redisObject所引用，当遇到incr,decr等操作时会转成数值型进行计算，此时redisObject的encoding字段为int。

2、Hash

　　常用命令：hget,hset,hgetall 。

　　应用场景：以存储一个用户信息对象数据，为例：

 

　　实现方式：

　 Redis Hash对应的Value，内部实际就是一个HashMap，实际这里会有2种不同实现。

（1）       Hash的成员比较少时Redis为了节省内存会采用类似一维数 组的方式来紧凑存储，而不会采用真正的HashMap结构，对应的value redisObject的encoding为zipmap；

（2）       当成员数量增大时会自动转成真正的HashMap,此时encoding为ht。

　　3、List

　　常用命令：lpush,rpush,lpop,rpop,lrange。

　　应用场景：

　　Redis list的应用场景非常多，也是Redis最重要的数据结构之一，比如twitter的关注列表，粉丝列表等都可以用Redis的list结构来实现。

　　实现方式：

　　Redis list的实现为一个双向链表，可以支持反向查找和遍历，方便操作。不过带来了部分额外的内存开销，Redis内部的很多实现，包括发送缓冲队列等也都是用的这个数据结构。

　　4、Set

　　常用命令：sadd,spop,smembers,sunion。

　　应用场景：

　 　Redis set对外提供的功能与list类似是一个列表的功能，特殊之处在于set是可以自动排重的，当你需要存储一个列表数据，又不希望出现重复数据时，set 是一个很好的选择，并且set提供了判断某个成员是否在一个set集合内的重要接口，这个也是list所不能提供的。

　　实现方式：

　　set 的内部实现是一个 value永远为null的HashMap，实际就是通过计算hash的方式来快速排重的，这也是set能提供判断一个成员是否在集合内的原因。

　　5、Sorted set

　　常用命令：zadd,zrange,zrem,zcard；

　　使用场景：

　 　Redis sorted set的使用场景与set类似，区别是set不是自动有序的，而sorted set可以通过用户额外提供一个优先级(score)的参数来为成员排序，并且是插入有序的，即自动排序。当你需要一个有序的并且不重复的集合列表，可以选择sorted set数据结构，比如twitter 的public timeline可以以发表时间作为score来存储，这样获取时就是自动按时间排好序的。

　　实现方式：

　　Redis sorted set的内部使用HashMap和跳跃表(SkipList)来保证数据的存储和有序，HashMap里放的是成员到score的映射，而跳跃表里存放的 是所有的成员，排序依据是HashMap里存的score,使用跳跃表的结构可以获得比较高的查找效率，并且在实现上比较简单。

4.2.2Redis集群

（1）通过keepalived实现的高可用方案

 

切换流程：

1. 当Master挂了后，VIP漂移到Slave；Slave 上keepalived 通知redis 执行：slaveof no one ,开始提供业务

2. 当Master起来后，VIP 地址不变，Master的keepalived 通知redis 执行slaveof slave IP host ，开始作为从同步数据

3. 依次类推

 

主从同时Down机情况：

1. 非计划性，不做考虑，一般也不会存在这种问题

2.、计划性重启，重启之前通过运维手段SAVE DUMP 主库数据；需要注意顺序：

1. 关闭其中一台机器上所有redis，是得master全部切到另外一台机器（多实例部署，单机上既有主又有从的情况）；并关闭机器

2. 依次dump主上redis服务

3. 关闭主

4. 启动主，并等待数据load完毕

5. 启动从 

6.删除DUMP 文件（避免重启加载慢）

 

（2）使用Twemproxy 实现集群方案

由twitter开源的c版本proxy，同时支持memcached和redis，目前最新版本为：0.2.4，持续开发中;https://github.com/twitter/twemproxy .twitter用它主要减少前端与缓存服务间网络连接数。

 

特点：快、轻量级、减少后端Cache Server连接数、易配置、支持ketama、modula、random、常用hash 分片算法。

 

这里使用keepalived实现高可用主备方案，解决proxy单点问题；

 

优点：

1. 对于客户端而言，redis集群是透明的，客户端简单，遍于动态扩容

2. Proxy为单点、处理一致性hash时，集群节点可用性检测不存在脑裂问题

3. 高性能，CPU密集型，而redis节点集群多CPU资源冗余，可部署在redis节点集群上，不需要额外设备

4.3Memcache与Redis的比较

（1）数据结构：Memcache只支持key value存储方式，Redis支持更多的数据类型，比如Key value，hash，list，set，zset；

（2）多线程：Memcache支持多线程，redis支持单线程；CPU利用方面Memcache优于redis；

（3）持久化：Memcache不支持持久化，Redis支持持久化；

（4）内存利用率：memcache高，redis低（采用压缩的情况下比memcache高）；

（5）过期策略：memcache过期后，不删除缓存，会导致下次取数据数据的问题，Redis有专门线程，清除缓存数据；

 

五、本地缓存

本地缓存是指应用内部的缓存，标准的分布式系统，一般有多级缓存构成。本地缓存是离应用最近的缓存，一般可以将数据缓存到硬盘或内存。

3.1硬盘缓存

         将数据缓存到硬盘到，读取时从硬盘读取。原理是直接读取本机文件，减少了网络传输消耗，比通过网络读取数据库速度更快。可以应用在对速度要求不是很高，但需要大量缓存存储的场景。

3.2 内存缓存

直接将数据存储到本机内存中，通过程序直接维护缓存对象，是访问速度最快的方式。

六、缓存架构示例

 

职责划分：

• CDN：存放HTML,CSS,JS等静态资源；
• 反向代理：动静分离，只缓存用户请求的静态资源；
• 分布式缓存：缓存数据库中的热点数据；
• 本地缓存：缓存应用字典等常用数据；

 

请求过程：

（1）       浏览器向客户端发起请求，如果CDN有缓存则直接返回；

（2）       如果CDN无缓存，则访问反向代理服务器；

（3）       如果反向代理服务器有缓存则直接返回；

（4）       如果反向代理服务器无缓存或动态请求，则访问应用服务器；

（5）       应用服务器访问本地缓存；如果有缓存，则返回代理服务器，并缓存数据；（动态请求不缓存）

（6）       如果本地缓存无数据，则读取分布式缓存；并返回应用服务器；应用服务器将数据缓存到本地缓存（部分）；

（7）       如果分布式缓存无数据，则应用程序读取数据库数据，并放入分布式缓存；

七、参考资料

以下是本次分享参考的资料和推荐大家参考的资料。

7.1 CND资料

淘宝CDN系统架构:

http://blog.sina.com.cn/s/blog_4adf62ab0100tjld.html

天猫浏览型应用的CDN静态化架构演变【经典】

http://kb.cnblogs.com/page/199235/

ChinaCache CDN简介

http://wenku.baidu.com/link?url=oAT72EEemiRnH2Iy2Bg4phHXsRmSlN_WHd4jH7kiDb4TqYMIyCR3v7oUhKMj9GqN7W1qwu1K4tQNyD6NKtuQ7o7aT3JIujcd_QjRf34BtKO

7.2反向代理资料

squid反向代理：http://my.oschina.net/u/267384/blog/173149

7.3分布式缓存资料

Memcache知识点梳理：http://369369.blog.51cto.com/319630/833234/

memcache学习总结-wish

http://wenku.baidu.com/link?url=Qx4JYNgBJN0pqREImt1mZr625sj03AJoCWsIwDZlFQfi1iyejCb0feqG0gov3FLcrtEioJ3fU-4zj0H6VKPXWONYVZaAyX-HPWXDbRxyqF7

memcache 分布式，算法实现

http://1006836709.iteye.com/blog/1997381

 

分析Redis架构设计

http://blog.csdn.net/a600423444/article/details/8944601

Redis 集群方案：http://www.cnblogs.com/lulu/archive/2013/06/10/3130878.html

Redis常用数据类型：http://blog.sina.com.cn/s/blog_7f37ddde0101021q.html

 

八、本次分享总结

以上是本周的分享，主要讲解了缓存在分布式系统中的典型应用场景，CDN，反向代理缓存，分布式缓存（Memcache,Redis），本地缓存（硬盘，内存）。最后整体分享了以上几种缓存在架构中的使用。

我们的分享只是介绍一下知识结构，希望可以起到一个抛砖引玉的作用。因为，每个知识点都有一些细化的地方，需要学习的知识点很多，需要大家不断深入学习。也欢迎大家把好的内容，即时的分享到群内（知识链接或参加周知识分享，参加周知识分享的同学可以直接联系我哈~~）