memcached 细究(一)
memcached是高性能的分布式的内存缓存服务器。由国外社区网站LIVEJOURNAL的开发团队开发。
使用目的:
通过缓存数据库查询结果,减少数据库的访问次数,以提高动态web应用的速度、提高可扩展性。
memcache 是一个自由和开放源代码、高性能、分布式的内存对象缓存系统。用于加速动态web应用程序,减少数据库负载。
memcahce的特征
1、基于C/S架构,协议简单
2、基于libevent事件处理{libevent是一个基于事件触发的网络库,适用于windows、Linux、bsd(Unix的衍生系统)等多种平台}
3、内置内存存储方式
4、基于客户端的memcached分布式
适用场景
1、需要分布式部署的(什么是分布式:假如一个任务有10个子任务,将这10个子任务分别单独放到10个服务器,大大缩短任务执行时间,)
2、需要频繁访问相同数据
3、需要数据共享的
介绍C/S架构
安装启动(见PDF文档)
各种命令的使用
set/add/replace/delete/get/gets/cas/stats/stats items/append/prepend/flush_all等等
memcahced一些特性和限制
①在Memcached 中可以保存的item数据量是没有限制的,只有内存足够
②Memcached单进程最大使用内存为2G,要使用更多内存,可以分多个端口开启多个Memcached进程
③最大30天的数据过期时间, 设置为永久的也会在这个时间过期,常量REALTIME_MAXDELTA
④60*60*24*30 控制
⑤最大键长为250字节,大于该长度无法存储,常量KEY_MAX_LENGTH 250 控制
⑥单个item最大数据是1MB,超过1MB数据不予存储,常量POWER_BLOCK 1048576 进行控制,
⑦它是默认的slab大小
⑧最大同时连接数是200,通过conn_init()中的freetotal 进行控制,最大软连接数是1024,通过
⑨settings.maxconns=1024 进行控制⑩跟空间占用相关的参数:settings.factor=1.25, settings.chunk_size=48, 影响slab的数据占用和步进方式
PHP的Memcache客户端所有方法总结
memcache函数所有的方法列表如下:
Memcache::add – 添加一个值,如果已经存在,则返回false
Memcache::addServer – 添加一个可供使用的服务器地址
Memcache::close – 关闭一个Memcache对象
Memcache::connect – 创建一个Memcache对象
memcache_debug – 控制调试功能
Memcache::decrement – 对保存的某个key中的值进行减法操作
Memcache::delete – 删除一个key值
Memcache::flush – 清除所有缓存的数据
Memcache::get – 获取一个key值
Memcache::getExtendedStats – 获取进程池中所有进程的运行系统统计
Memcache::getServerStatus – 获取运行服务器的参数
Memcache::getStats – 返回服务器的一些运行统计信息
Memcache::getVersion – 返回运行的Memcache的版本信息
Memcache::increment – 对保存的某个key中的值进行加法操作
Memcache::pconnect – 创建一个Memcache的持久连接对象
Memcache::replace -对一个已有的key进行覆写操作
Memcache::set – 添加一个值,如果已经存在,则覆写
Memcache::setCompressThreshold – 对大于某一大小的数据进行压缩
Memcache::setServerParams – 在运行时修改服务器的参数
PHP的Memcache操作方法分解
Memcache::add用法
说明:
如果$key不存在的时候,使用这个函数来存储$var的值。功能相同的函数是memcache_add()。
参数:
$key :将要存储的键值。
$var :存储的值,字符型和整型会按原值保存,其他类型自动序列化以后保存。
$flag:是否用MEMCACHE_COMPRESSED来压缩存储的值,true表示压缩,false表示不压缩。
$expire:存储值的过期时间,如果为0表示不会过期,你可以用unix时间戳或者描述来表示从现在开始的时间,但是你在使用秒数表示的时候,不要超过2592000秒 (表示30天)。
返回值:
如果成功则返回 TRUE,失败则返回 FALSE。如果$key值已经存在,则会返回FALSE。 其他情况下Memcache::add()的用法类似于Memcache::set()。
例子:
<?php
$memcache_obj = memcache_connect(”localhost”, 11211);
memcache_add($memcache_obj, 'var_key', 'test variable', false, 30);
$memcache_obj->add('var_key', 'test variable', false, 30);
?>
Memcache::addServer用法
说明:
添加一个可供使用的服务器地址到连接池中,连接用Memcache::addServer打开,脚本执行完后自动关闭,或者可以用Memcache::close()手动关闭。相同函数是memcache_add_server()。
当用这个方法的时候(相对于Memcache::connect()和 Memcache::pconnect()方法),网络连接只有等需要的时候才会建立,因此不会因为增加很多的服务器到连接池而增加系统负担,因为很多服务器可能没有使用。
故障恢复会发生在这个方法执行的任何阶段,只要其他的服务器是正常的,这些连接请求的失败用户不会注意到。任何一种socket或者memcached服务器级的错误可以触发故障恢复。正常的客户端错误比如增加一个存在的键值不会引发故障恢复。
参数:
$host服务器的地址
$port服务器端口
$persistent是否是一个持久连接
$weight这台服务器在所有服务器中所占的权重
$timeout连接的持续时间
$retry_interval连接重试的间隔时间,默认为15,设置为-1表示不进行重试
$status控制服务器的在线状态
$failure_callback允许设置一个回掉函数来处理错误信息。
返回值:
如果成功则返回 TRUE,失败则返回 FALSE。
例子:
$memcache = new Memcache;
$memcache->addServer('memcache_host', 11211);
$memcache->addServer('memcache_host2′, 11211);
$memcache_obj = memcache_connect('memcache_host', 11211);
memcache_add_server($memcache_obj, 'memcache_host2′, 11211);
?>
Memcache::close用法
bool Memcache::close ( void )
说明:
关闭memcache服务器连接。这个函数不会关闭长连接,长连接只有在web服务器关闭或者重启的时候才会关闭。相同的函数memcache_close()
返回值:
如果成功则返回 TRUE,失败则返回 FALSE。
例子:
<?php
$memcache_obj = memcache_connect('memcache_host', 11211);
memcache_close($memcache_obj);
$memcache_obj = new Memcache;
$memcache_obj->connect('memcache_host', 11211);
$memcache_obj->close();
?>
Memcache::connect用法
说明:
打开memcached服务器连接,建立一个到memcached服务器的连接,用Memcache::connect打开的连接会在脚本执行完毕后自动关闭。你也可以用Memcache::close()去关闭连接。相同的函数是memcache_connect()。
参数:
$host:指向memcached正在收听的链接的主机,这个参数会有另一种特殊的连接方式unix:///path/to/memcached.sock,即用unix的域名sockets,这种情况下,端口必须设置为0
$port:指向memcached正在收听的链接的端口,用unix的域名sockets的情况下,端口必须设置为0
$timeout:用于连接守护进程的秒数,当你改变默认的1秒的值的时候,你需要考虑一下,如果你的连接太慢的话,你可能会失去缓存的优势。
返回值:
如果成功则返回 TRUE,失败则返回 FALSE。
例子:
<?php
$memcache_obj = memcache_connect('memcache_host', 11211);
$memcache = new Memcache;
$memcache->connect('memcache_host', 11211);
?>
memcache::debug
说明:
控制调试功能,前提是php在编译的时候使用了-enable-debug选项,否则这个函数不会有作用。
参数:
$on_off:true表示开启调试,false表示关闭调试
返回值:
如果php在编译的时候使用了-enable-debug选项,返回true,否则返回false
Memcache::decrement用法
说明:
Memcache::decremen方法的作用是对保存的某个key中的值进行减法操作,用法跟Memcache::increment类似。
你也可以用memcache_decrement()函数。
参数:
Key:想要减少的键的名字
Value:想要减少的值。
返回值:
如果成功,返回被减少后的值,如果失败返回false。
例子:
<?php
$memcache = new Memcache;
$memcache->connect('localhost', 11211);
$memcache->set('test_item', 8);
$memcache->increment('test_item', 4);
echo $memcache->decrement('test_item', 7);
// 显示 5
?>
这个例子连Memcache::increment函数都一块演示了。
Memcache::delete用法
说明:
删除一个key值,如果参数$timeout被设置,那么存储的值会在设置的秒数以后过期,你也可以用函数memcache_delete()
返回值:
如果成功则返回 TRUE,失败则返回 FALSE。
例子:
<?php
$memcache_obj = memcache_connect('memcache_host', 11211);
memcache_delete($memcache_obj, 'key_to_delete', 10);
$memcache_obj = new Memcache;
$memcache_obj->connect('memcache_host', 11211);
$memcache_obj->delete('key_to_delete', 10);
?>
Memcache::flush
说明:
清除所有缓存的数据。Memcache::flush实际上没有释放资源,它仅仅将所有的缓存标记为过期,这样可以使新的缓存来覆盖被占的内存空间。一样的函数是memcache_flush()
返回值:
如果成功则返回 TRUE,失败则返回 FALSE。
例子:
<?php
$memcache_obj = memcache_connect('memcache_host', 11211);
memcache_flush($memcache_obj);
$memcache_obj = new Memcache;
$memcache_obj->connect('memcache_host', 11211);
$memcache_obj->flush();
?>
Memcache::get
string Memcache::get ( string $key [, int &$flags ] )
array Memcache::get ( array $keys [, array &$flags ] )
说明:
方法的作用是获取一个key值,key值可以是一个数组,结果会包含键值对。
参数:
$key是键值或者一个键的数组值。
$flags如果这个参数存在,那么$flags跟写入这个参数的值相关,这些$flags 类似于Memcache::set()函数里的$flags。
返回值:
如果成功,则返回key对应的值,如果失败则返回false.
例子:
<?php
$memcache_obj = memcache_connect('memcache_host', 11211);
$var = memcache_get($memcache_obj, 'some_key');
$memcache_obj = new Memcache;
$memcache_obj->connect('memcache_host', 11211);
$var = $memcache_obj->get('some_key');
$memcache_obj = memcache_connect('memcache_host', 11211);
$var = memcache_get($memcache_obj, Array('some_key', 'another_key'));
$memcache_obj = new Memcache;
$memcache_obj->connect('memcache_host', 11211);
$var = $memcache_obj->get(Array('some_key', 'second_key'));
?>
Memcache::getExtendedStats
说明:
获取进程池中所有进程的运行系统统计。相同函数是memcache_get_extended_stats()
参数:
$type表示要求返回的类型:reset, malloc, maps, cachedump, slabs, items, sizes;
$slabid第一个参数设置为”cachedump”时使用的。
$limit第一个参数设置为”cachedump”时使用的。
返回值:
如果成功,返回统计信息,失败会返回false
例子:
<?php
$memcache_obj = new Memcache;
$memcache_obj->addServer('memcache_host', 11211);
$memcache_obj->addServer('failed_host', 11211);
$stats = $memcache_obj->getExtendedStats();
//slabs机制分配管理内存的情况
$statsslab = $memcache_obj->getExtendedStats(slabs);
?>
Memcache::getServerStatus
说明:
获取运行服务器的参数。返回一个服务器在线或者离线的状态。相同的函数是memcache_get_server_status()
参数:
$host:正在收听的连接的主机
$port正在收听的连接的主机的端口,默认是11211
返回值:
成功返回服务器状态,服务器没有启动会返回0,其他数字的时候表示服务器是启动状态的。
例子:
<?php
$memcache = new Memcache;
$memcache->addServer('memcache_host', 11211);
echo $memcache->getServerStatus('memcache_host', 11211);
$memcache = memcache_connect('memcache_host', 11211);
echo memcache_get_server_status($memcache, 'memcache_host', 11211);
?>
Memcache::getStats
说明:
返回服务器的一些运行统计信息。相同的函数是memcache_get_stats()
参数:
$type表示要求返回的类型:reset, malloc, maps, cachedump, slabs, items, sizes;
$slabid第一个参数设置为”cachedump”时使用的。
$limit第一个参数设置为”cachedump”时使用的。
Memcache::getVersion
说明:
返回运行的Memcache的版本信息。相同函数memcache_get_version()
返回值:
成功返回服务器的版本信息,失败的时候返回false。
例子:
<?php
$memcache = new Memcache;
$memcache->connect('memcache_host', 11211);
echo $memcache->getVersion();
$memcache = memcache_connect('memcache_host', 11211);
echo memcache_get_version($memcache);
?>
Memcache::increment
对保存的某个key中的值进行加法操作
用法参考Memcache::decrement
Memcache::pconnect
说明:
创建一个Memcache的持久连接对象
用法与Memcache::connect()相似,不同点地方是Memcache::pconnect是建立的持久连接。这个连接在脚本执行完或者Memcache::close()函数运行也不会被关闭。与它相同的函数是memcache_pconnect()
参数:
$host:指向memcached正在收听的链接的主机,这个参数会有另一种特殊的连接方式unix:///path/to/memcached.sock,即用unix的域名sockets,这种情况下,端口必须设置为0
$port:指向memcached正在收听的链接的端口,用unix的域名sockets的情况下,端口必须设置为0
$timeout:用于连接守护进程的秒数,当你改变默认的1秒的值的时候,你需要考虑一下,如果你的连接太慢的话,你可能会失去缓存的优势。
返回值:
如果成功则返回 TRUE,失败则返回 FALSE
<?php
$memcache_obj = memcache_pconnect('memcache_host', 11211);
$memcache_obj = new Memcache;
$memcache_obj->pconnect('memcache_host', 11211);
?>
Memcache::replace
说明:
对一个已有的key进行覆写操作。相同函数是memcache_replace()
参数:
$key :将要存储的键值。
$var :存储的值,字符型和整型会按原值保存,其他类型自动序列化以后保存。
$flag:是否用MEMCACHE_COMPRESSED来压缩存储的值,true表示压缩,false表示不压缩。
$expire:存储值的过期时间,如果为0表示不会过期,你可以用unix时间戳或者描述来表示从现在开始的时间,但是你在使用秒数表示的时候,不要超过2592000秒 (表示30天)。
返回值:
如果成功则返回 TRUE,失败则返回 FALSE。如果$key值已经存在,则会返回FALSE。
<?php
$memcache_obj = memcache_connect('memcache_host', 11211);
memcache_replace($memcache_obj, "test_key", "some variable", false, 30);
$memcache_obj->replace("test_key", "some variable", false, 30);
?>
Memcache::set
说明:
添加一个值,如果已经存在,则覆写。相同函数是memcache_set()
参数:
$key :将要存储的键值。
$var :存储的值,字符型和整型会按原值保存,其他类型自动序列化以后保存。
$flag:是否用MEMCACHE_COMPRESSED来压缩存储的值,true表示压缩,false表示不压缩。
$expire:存储值的过期时间,如果为0表示不会过期,你可以用unix时间戳或者描述来表示从现在开始的时间,但是你在使用秒数表示的时候,不要超过2592000秒 (表示30天)。
返回值:
如果成功则返回 TRUE,失败则返回 FALSE。
例子:
$memcache_obj = new Memcache;
$memcache_obj->connect('memcache_host', 11211);
$memcache_obj->set('var_key', 'some really big variable', MEMCACHE_COMPRESSED, 50);
echo $memcache_obj->get('var_key');
Memcache::setCompressThreshold
说明:
对大于某一大小的数据进行压缩。相同的函数是memcache_set_compress_threshold()
参数:
setCompressThreshold方法有两个参数,第一个参数表示处理数据大小的临界点,第二个参数表示压缩的比例,默认为0.2。
返回值:
如果成功则返回 TRUE,失败则返回 FALSE。
例子:
<?php
$memcache_obj = new Memcache;
$memcache_obj->addServer('memcache_host', 11211);
$memcache_obj->setCompressThreshold(20000, 0.2);
$memcache_obj = memcache_connect('memcache_host', 11211);
memcache_set_compress_threshold($memcache_obj, 20000, 0.2);
?>
Memcache::setServerParams
说明:
在运行时修改服务器的参数。相同函数是memcache_set_server_params()。
参数:
$host服务器的地址
$port服务器端口
$timeout连接的持续时间
$retry_interval连接重试的间隔时间,默认为15,设置为-1表示不进行重试
$status控制服务器的在线状态
$failure_callback允许设置一个回掉函数来处理错误信息。
返回值:
如果成功则返回 TRUE,失败则返回 FALSE。
例子:
<?php
function _callback_memcache_failure($host, $port) {
print "memcache '$host:$port' failed";
}
$memcache = new Memcache;
// 离线模式增加一个服务器
$memcache->addServer('memcache_host', 11211, false, 1, 1, -1, false);
// 把服务器设成在线
$memcache->setServerParams('memcache_host', 11211, 1, 15, true, '_callback_memcache_failure');
$memcache_obj = memcache_connect('memcache_host', 11211);
memcache_set_server_params($memcache_obj, 'memcache_host', 11211, 1, 15, true, '_callback_memcache_failure');
?>
六、综合使用实例
<?php
//连接
$mem = new Memcache;
$mem->connect("db.nowamagic.net", 12000);
//保存数据
$mem->set('key1', 'This is first value', 0, 60);
$val = $mem->get('key1');
echo "Get key1 value: " . $val ."<br />";
//替换数据
$mem->replace('key1', 'This is replace value', 0, 60);
$val = $mem->get('key1');
echo "Get key1 value: " . $val . "<br />";
//保存数组
$arr = array('aaa', 'bbb', 'ccc', 'ddd');
$mem->set('key2', $arr, 0, 60);
$val2 = $mem->get('key2');
echo "Get key2 value: ";
print_r($val2);
echo "<br />";
//删除数据
$mem->delete('key1');
$val = $mem->get('key1');
echo "Get key1 value: " . $val . "<br />";
//清除所有数据
$mem->flush();
$val2 = $mem->get('key2');
echo "Get key2 value: ";
print_r($val2);
echo "<br />";
//关闭连接
$mem->close();
?>
如果正常的话,浏览器将输出:
Get key1 value: This is first value
Get key1 value: This is replace value
Get key2 value: Array ( [0] => aaa [1] => bbb [2] => ccc [3] => ddd )
Get key1 value:
Get key2 value:
七、实例程序代码分析
初始化一个Memcache的对象:$mem = new Memcache;
连接到我们的Memcache服务器端,第一个参数是服务器的IP地址,也可以是主机名,第二个参数是Memcache的开放的端口:$mem->connect("192.168.0.200", 12000);
保存一个数据到Memcache服务器上,第一个参数是数据的key,用来定位一个数据,第二个参数是需要保存的数据内容,这里是一个字符串,第三个参数是一个标记,一般设置为0或者MEMCACHE_COMPRESSED就行了,第四个参数是数据的有效期,就是说数据在这个时间内是有效的,如果过去这个时间,那么会被Memcache服务器端清除掉这个数据,单位是秒,如果设置为0,则是永远有效,我们这里设置了60,就是一分钟有效时间:$mem->set(‘key1‘, ‘This is first value', 0, 60);
从Memcache服务器端获取一条数据,它只有一个参数,就是需要获取数据的key,我们这里是上一步设置的key1,现在获取这个数据后输出输出:
$val = $mem->get('key1′);
echo "Get key1 value: " . $val;
现在是使用replace方法来替换掉上面key1的值,replace方法的参数跟set是一样的,不过第一个参数key1是必须是要替换数据内容的key,最后输出了:
$mem->replace('key1', 'This is replace value', 0, 60);
$val = $mem->get('key1');
echo "Get key1 value: " . $val;
同样的,Memcache也是可以保存数组的,下面是在Memcache上面保存了一个数组,然后获取回来并输出:
$arr = array('aaa', 'bbb', 'ccc', 'ddd');
$mem->set('key2', $arr, 0, 60);
$val2 = $mem->get('key2');
print_r($val2);
现在删除一个数据,使用delte接口,参数就是一个key,然后就能够把Memcache服务器这个key的数据删除,最后输出的时候没有结果:
$val = $mem->get('key1');
echo "Get key1 value: " . $val . "<br />";
最后我们把所有的保存在Memcache服务器上的数据都清除,会发现数据都没有了,最后输出key2的数据为空,最后关闭连接:
$val2 = $mem->get('key2');
echo "Get key2 value: ";
print_r($val2);
echo "<br />";
什么时候使用Memcache和Memcache的使用环境
使用Memcache的网站一般流量都是比较大的,为了缓解数据库的压力,让Memcache作为一个缓存区域,把部分信息保存在内存中,在前端能够迅速的进行存取。那么一般的焦点就是集中在如何分担数据库压力和进行分布式,毕竟单台Memcache的内存容量的有限的。我这里简单提出我的个人看法,未经实践,权当参考。
分布式应用
Memcache本来支持分布式,我们客户端稍加改造,更好的支持。我们的key可以适当进行有规律的封装,比如以user为主的网站来说,每个用户都有User ID,那么可以按照固定的ID来进行提取和存取,比如1开头的用户保存在第一台Memcache服务器上,以2开头的用户的数据保存在第二胎Mecache服务器上,存取数据都先按照User ID来进行相应的转换和存取。
但是这个有缺点,就是需要对User ID进行判断,如果业务不一致,或者其他类型的应用,可能不是那么合适,那么可以根据自己的实际业务来进行考虑,或者去想更合适的方法。
减少数据库压力
这个算是比较重要的,所有的数据基本上都是保存在数据库当中的,每次频繁的存取数据库,导致数据库性能极具下降,无法同时服务更多的用户,比如MySQL,特别频繁的锁表,那么让Memcache来分担数据库的压力吧。我们需要一种改动比较小,并且能够不会大规模改变前端的方式来进行改变目前的架构。
我考虑的一种简单方法:
后端的数据库操作模块,把所有的Select操作提取出来(update/delete/insert不管),然后把对应的SQL进行相应的hash算法计算得出一个hash数据key(比如MD5或者SHA),然后把这个key去Memcache中查找数据,如果这个数据不存在,说明还没写入到缓存中,那么从数据库把数据提取出来,一个是数组类格式,然后把数据在set到Memcache中,key就是这个SQL的hash值,然后相应的设置一个失效时间,比如一个小时,那么一个小时中的数据都是从缓存中提取的,有效减少数据库的压力。缺点是数据不实时,当数据做了修改以后,无法实时到前端显示,并且还有可能对内存占用比较大,毕竟每次select出来的数据数量可能比较巨大,这个是需要考虑的因素。
Memcache的安全
我们上面的Memcache服务器端都是直接通过客户端连接后直接操作,没有任何的验证过程,这样如果服务器是直接暴露在互联网上的话是比较危险,轻则数据泄露被其他无关人员查看,重则服务器被入侵,因为Mecache是以root权限运行的,况且里面可能存在一些我们未知的bug或者是缓冲区溢出的情况,这些都是我们未知的,所以危险性是可以预见的。为了安全起见,我做两点建议,能够稍微的防止黑客的入侵或者数据的泄露。
内网访问
最好把两台服务器之间的访问是内网形态的,一般是Web服务器跟Memcache服务器之间。普遍的服务器都是有两块网卡,一块指向互联网,一块指向内网,那么就让Web服务器通过内网的网卡来访问Memcache服务器,我们Memcache的服务器上启动的时候就监听内网的IP地址和端口,内网间的访问能够有效阻止其他非法的访问。
Memcache服务器端设置监听通过内网的192.168.0.200的ip的11211端口,占用1024MB内存,并且允许最大1024个并发连接。
设置防火墙
防火墙是简单有效的方式,如果却是两台服务器都是挂在网的,并且需要通过外网IP来访问Memcache的话,那么可以考虑使用防火墙或者代理程序来过滤非法访问。一般我们在Linux下可以使用iptables或者FreeBSD下的ipfw来指定一些规则防止一些非法的访问,比如我们可以设置只允许我们的Web服务器来访问我们Memcache服务器,同时阻止其他的访问。
# iptables -P INPUT DROP
# iptables -A INPUT -p tcp -s 192.168.0.2 –dport 11211 -j ACCEPT
# iptables -A INPUT -p udp -s 192.168.0.2 –dport 11211 -j ACCEPT
上面的iptables规则就是只允许192.168.0.2这台Web服务器对Memcache服务器的访问,能够有效的阻止一些非法访问,相应的也可以增加一些其他的规则来加强安全性,这个可以根据自己的需要来做。
实战
//memcached配置
/********************************************/
$mem_ip='127.0.0.1';
$mem_port=11211;
$mem_prefix='';
/********************************************/
/********************************************/
//session memcached配置,请配置到一个独立的memcache服务(不同IP或不同端口号),
//几个镜像站都必须设置相同,否则会导致session丢失
//其他任何程序都不能使用这个服务,以免冲突。
/********************************************/
$session_mem_ip='127.0.0.1';
$session_mem_port=11212;
function Instance_Memcached()
{
static $mem=false;
if($mem==false && isset($GLOBALS['mem_ip']) && isset($GLOBALS['mem_port']) && extension_loaded('memcache'))
{
$mem=new Memcache;
$mem->pconnect($GLOBALS['mem_ip'],$GLOBALS['mem_port']) or die('Can not connect to memcache server!');
}
return $mem;
}