第1章 memcached的基础

2012-05-22 11:59 田志良阅读(513) 评论(1) 编辑收藏举报

来源于：https://files.cnblogs.com/tianzhiliang/分布式缓存memcached.pdf

我是 mixi 株式会社开发部系统运营组的长野。日常负责程序的运营。从今天开始，将针对最近在

Web应用的可扩展性领域的热门话题memcached，与我公司开发部研究开发组的前坂一起，说明其

内部结构和使用。

1.1 memcached是什么？

memcached 是以LiveJournal 旗下Danga Interactive 公司的Brad Fitzpatric 为首开发的一款软件。现在

已成为mixi、hatena、Facebook、Vox、LiveJournal等众多服务中提高Web应用扩展性的重要因素。

许多Web应用都将数据保存到RDBMS中，应用服务器从中读取数据并在浏览器中显示。但随着数

据量的增大、访问的集中，就会出现RDBMS的负担加重、数据库响应恶化、网站显示延迟等重大

影响。

这时就该memcached大显身手了。memcached是高性能的分布式内存缓存服务器。一般的使用目的

是，通过缓存数据库查询结果，减少数据库访问次数，以提高动态Web应用的速度、提高可扩展

性。

图1.1：一般情况下memcached的用途

idv2.com 第1 章 memcached的基础

1.2 memcached的特征

memcached作为高速运行的分布式缓存服务器，具有以下的特点。

• 协议简单

• 基于libevent的事件处理

• 内置内存存储方式

• memcached不互相通信的分布式

协议简单

memcached的服务器客户端通信并不使用复杂的XML等格式，而使用简单的基于文本行的协议。

因此，通过telnet也能在memcached上保存数据、取得数据。下面是例子。

$ telnet localhost 11211

Trying 127.0.0.1...

Connected to localhost.localdomain (127.0.0.1).

Escape character is '^]'.

set foo 0 0 3 （保存命令）

bar （数据）

STORED （结果）

get foo （取得命令）

VALUE foo 0 3 （数据）

bar （数据）

协议文档位于memcached的源代码内，也可以参考以下的URL。

• http://code.sixapart.com/svn/memcached/trunk/server/doc/protocol.txt

基于libevent的事件处理

libevent是个程序库，它将Linux的epoll、BSD类操作系统的kqueue等事件处理功能封装成统一的

接口。即使对服务器的连接数增加，也能发挥O(1)的性能。memcached使用这个libevent库，因此

能在Linux、BSD、Solaris等操作系统上发挥其高性能。关于事件处理这里就不再详细介绍，可以

参考Dan Kegel的The C10K Problem。

• libevent: http://www.monkey.org/~provos/libevent/

• The C10K Problem: http://www.kegel.com/c10k.html

内置内存存储方式

为了提高性能，memcached中保存的数据都存储在memcached内置的内存存储空间中。由于数据仅

存在于内存中，因此重启memcached、重启操作系统会导致全部数据消失。另外，内容容量达到指

定值之后，就基于LRU(Least Recently Used)算法自动删除不使用的缓存。memcached本身是为缓存

而设计的服务器，因此并没有过多考虑数据的永久性问__________题。关于内存存储的详细信息，请参考本文

的第 2 章以后前坂介绍的内容。

memcached不互相通信的分布式

memcached尽管是“分布式”缓存服务器，但服务器端并没有分布式功能。各个memcached不会互

相通信以共享信息。那么，怎样进行分布式呢？这完全取决于客户端的实现。本文也将介绍

memcached的分布式。

idv2.com 第1 章 memcached的基础

图1.2：memcached的分布式

接下来简单介绍一下memcached的使用方法。

1.3 安装memcached

memcached的安装比较简单，这里稍加说明。

memcached支持许多平台。

• Linux

• FreeBSD

• Solaris (memcached1.2.5以上版本)

• Mac OS X

另外也能安装在Windows上。这里使用Fedora Core 8进行说明。

memcached的安装

运行memcached需要本文开头介绍的libevent库。Fedora 8中有现成的rpm包，通过yum命令安装

即可。

$ sudo yum install libevent libeventdevel

memcached的源代码可以从memcached网站上下载。本文执笔时的最新版本为1.2.5。Fedora 8虽然

也包含了memcached的rpm，但版本比较老。因为源代码安装并不困难，这里就不使用rpm了。

• 下载memcached：http://www.danga.com/memcached/download.bml

memcached安装与一般应用程序相同，configure、make、make install就行了。

$ wget http://www.danga.com/memcached/dist/memcached1.2.5.

tar.gz

$ tar zxf memcached1.2.5.

tar.gz

$ cd memcached1.2.5

$ ./configure

$ make

idv2.com 第1 章 memcached的基础

$ sudo make install

默认情况下memcached安装到/usr/local/bin下。

memcached的启动

从终端输入以下命令，启动memcached。

$ /usr/local/bin/memcached p

11211 m

64mvv

slab class 1: chunk size 88 perslab 11915

slab class 2: chunk size 112 perslab 9362

slab class 3: chunk size 144 perslab 7281

中间省略

slab class 38: chunk size 391224 perslab 2

slab class 39: chunk size 489032 perslab 2

<23 server listening

<24 send buffer was 110592, now 268435456

<24 server listening (udp)

这里显示了调试信息。这样就在前台启动了memcached，监听TCP端口11211最大内存使用量为

64M。调试信息的内容大部分是关于存储的信息，下一章将具体说明。

作为daemon后台启动时，只需

$ /usr/local/bin/memcached p

11211 m

64md

这里使用的memcached启动选项的内容如下。

选项说明

使用的TCP端口。默认为11211

最大内存大小。默认为64M

用very vrebose模式启动，调试信息和错误输出到控制台

作为daemon在后台启动

上面四个是常用的启动选项，其他还有很多，通过

$ /usr/local/bin/memcached h

命令可以显示。许多选项可以改变memcached的各种行为，推荐读一读。

1.4 用客户端连接

许多语言都实现了连接memcached的客户端，其中以Perl、PHP为主。仅仅memcached网站上列出

的语言就有

• Perl

• PHP

• Python

• Ruby

• C#

idv2.com 第1 章 memcached的基础

• C/C++

• Lua

等等。

• memcached 客户端API：http://www.danga.com/memcached/apis.bml

这里介绍通过mixi正在使用的Perl库链接memcached的方法。

1.5 使用Cache::Memcached

Perl的memcached客户端有

• Cache::Memcached

• Cache::Memcached::Fast

• Cache::Memcached::libmemcached

等几个CPAN模块。这里介绍的Cache::Memcached是memcached的作者Brad Fitzpatric的作品，应

该算是memcached的客户端中应用最为广泛的模块了。

• Cache::Memcached search.

cpan.org: http://search.cpan.org/dist/CacheMemcached/

使用Cache::Memcached连接memcached

下面的源代码为通过Cache::Memcached连接刚才启动的memcached的例子。

#!/usr/bin/perl

use strict;

use warnings;

use Cache::Memcached;

my $key = "foo";

my $value = "bar";

my $expires = 3600; # 1 hour

my $memcached = Cache::Memcached>

new({

servers => ["127.0.0.1:11211"],

compress_threshold => 10_000

});

$memcached>

add($key, $value, $expires);

my $ret = $memcached>

get($key);

print "$ret\n";

在这里，为Cache::Memcached指定了memcached服务器的IP地址和一个选项，以生成实例。

Cache::Memcached常用的选项如下所示。

选项说明

servers 用数组指定memcached服务器和端口

compress_threshold 数据压缩时使用的值

namespace 指定添加到键的前缀

另外，Cache::Memcached通过Storable模块可以将Perl的复杂数据序列化之后再保存，因此散列、

数组、对象等都可以直接保存到memcached中。

idv2.com 第1 章 memcached的基础

保存数据

向memcached保存数据的方法有

• add

• replace

• set

它们的使用方法都相同：

my $add = $memcached>

add( '键', '值', '期限' );

my $replace = $memcached>

replace( '键', '值', '期限' );

my $set = $memcached>

set( '键', '值', '期限' );

向memcached保存数据时可以指定期限(秒)。不指定期限时，memcached按照LRU算法保存数据。

这三个方法的区别如下：

选项说明

add 仅当存储空间中不存在键相同的数据时才保存

replace 仅当存储空间中存在键相同的数据时才保存

set 与add和replace不同，无论何时都保存

获取数据

获取数据可以使用get和get_multi方法。

my $val = $memcached>

get('键');

my $val = $memcached>

get_multi('键1', '键2', '键3', '键4', '键5');

一次取得多条数据时使用get_multi。get_multi可以非同步地同时取得多个键值，其速度要比循环调

用get快数十倍。

删除数据

删除数据使用delete方法，不过它有个独特的功能。

$memcached>

delete('键', '阻塞时间(秒)');

删除第一个参数指定的键的数据。第二个参数指定一个时间值，可以禁止使用同样的键保存新数据。

此功能可以用于防止缓存数据的不完整。但是要注意，set 函数忽视该阻塞，照常保存数据。

增一和减一操作

可以将memcached上特定的键值作为计数器使用。

my $ret = $memcached>

incr('键');

$memcached>

add('键', 0) unless defined $ret;

增一和减一是原子操作，但未设置初始值时，不会自动赋成0。因此，应当进行错误检查，必要时

加入初始化操作。而且，服务器端也不会对超过232时的行为进行检查。

idv2.com 第1 章 memcached的基础

1.6 总结

这次简单介绍了memcached，以及它的安装方法、Perl客户端Cache::Memcached的用法。只要知道，

memcached的使用方法十分简单就足够了。

下一章由前坂来说明memcached的内部结构。了解memcached的内部构造，就能知道如何使用

memcached才能使Web应用的速度更上一层楼。欢迎继续阅读下一章。

刷新页面返回顶部

追求卓越，成功会不经意间追上你。志良的技术小菜园