Memcached学习笔记
目录
- 前言
- 启动流程
- 内存分配
- 回收机制
- 特性和限制
- Memcache::add
- Memcache::addServer
- Memcache::close
- Memcache::connect
- memcache::debug
- Memcache::decrement
- Memcache::delete
- Memcache::flush
- Memcache::get
- Memcache::getExtendedStats
- Memcache::getServerStatus
- Memcache::getStats
- Memcache::getVersion
- Memcache::increment
- Memcache::pconnect
- Memcache::replace
- Memcache::set
- Memcache::setCompressThreshold
- Memcache::setServerParams
- 参考资料
前言
- 此为学习笔记汇总,如有纰漏之处,还望不吝指出,谢谢。
启动流程
- 调用settings_init()设定初始化参数
- 从启动命令中读取参数来设置setting值
- 设定LIMIT参数
- 开始网络Socket监听,也支持UDP
- 检查用户身份,不允许以root运行
- 如果有socketpath存在,开启UNIX本地连接,是Sock管道
- 如果以-d方式启动,调用daemon(), 创建守护进程
- 初始化item,event,状态信息,hash,连接,slab
- 如设置中managed生效,创建bucket数组
- 检查是否需要锁定内存页
- 初始化信号,连接,删除队列
- 如果采用daemon方式,处理进程ID
- event开始,启动过程结束,main函数进入循环
内存分配
分配模型
-
-
MemCache存放的value大小是限制的,因为一个新数据过来,slab会先以page为单位申请一块内存,申请的内存最多就只有1M,所以value大小自然不能大于1M了
-
chunk分配待会内存浪费,但也避免了管理内存碎片的问题
大小关系
- MemCache将内存空间分为一组slab
- 每个slab下又有若干个page,每个page默认是1M
- 每个page里面包含一组chunk,chunk是真正存放数据的地方,同一个slab里面的chunk的大小是固定的
- 有相同大小chunk的slab被组织在一起,称为slab_class
- 邻slab内的chunk基本以1.25为比例进行增长,MemCache启动时可以用-f指定这个比例
回收机制
LRU
- 精髓:Memcached会把刚刚访问过的item放到item列表头部,尾部的是没有/很少被访问的
- 如果MemCache启动没有追加-M(禁止LRU,这种情况下内存不够会报Out Of Memory错误),可以使用
- MemCache的LRU算法不是针对全局的,是针对slab的
步骤
- 使用slabs_alloc函数申请内存失败,就开始淘汰数据
- 从item list尾部开始遍历,在列表中查找一个refcount为0的item,释放
- 如果找不到,查找一个3小时内没有访问过的item
- 如果还没有,返回NULL,申请内存失败
懒惰删除
- memcached不会释放已分配的内存,记录超时后,客户端就无法再看见该记录(invisible,透明), 其存储空间即可重复使用
- memcached内部不会监视记录是否过期,而是在get时查看记录的时间戳,检查记录是否过期。 这种技术被称为lazy(惰性)expiration
- 因此,memcached不会在过期监视上耗费CPU时间
特性和限制
- MemCache中可以保存的item数据量是没有限制的,只要内存足够
- MemCache单进程在32位机中最大使用内存为2G,这个之前的文章提了多次了,64位机则没有限制
- Key最大为250个字节,超过该长度无法存储
- 单个item最大数据是1MB,超过1MB的数据不予存储
- MemCache服务端是不安全的,比如已知某个MemCache节点,可以直接telnet过去,并通过flush_all让已经存在的键值对立即失效
- 不能够遍历MemCache中所有的item,因为这个操作的速度相对缓慢且会阻塞其他的操作
- MemCache的高性能源自于两阶段哈希结构:第一阶段在客户端,通过Hash算法根据Key值算出一个节点;第二阶段在服务端,通过一个内部的Hash算法,查找真正的item并返回给客户端。从实现的角度看,MemCache是一个非阻塞的、基于事件的服务器程序
- MemCache设置添加某一个Key值的时候,传入expiry为0表示这个Key值永久有效,这个Key值也会在30天之后失效,写在了源码Memcached.c中,一般不修改
Memcache::add
bool Memcache :: add ( string $key , mixed $var [ , int $flag [ , int $expire ]] )
说明
- 如果$key不存在的时候,使用这个函数来存储$var的值
- 功能相同的函数是memcache_add()
参数
- $key :将要存储的键值
- $var :存储的值,字符型和整型会按原值保存,其他类型自动序列化以后保存
- $flag:是否用 MEMCACHE_COMPRESSED 来压缩存储的值, true 表示压缩, false 表示不压缩
- $expire:存储值的过期时间,如果为0表示不会过期,你可以用unix时间戳或者描述来表示从现在开始的时间,但是你在使用秒数表示的时候,不要超过2592000秒 (表示30天)
返回值
- 如果成功则返回 TRUE,失败则返回 FALSE
- 如果$key值已经存在,则会返回FALSE
- 其他情况下Memcache::add()的用法类似于Memcache::set()
Memcache::addServer
bool Memcache::addServer ( string $host [, int $port [, bool $persistent [, int $weight [, int $timeout [, int $retry_interval [, bool $status [, callback $failure_callback ]]]]]]] )
说明
- 添加一个可供使用的服务器地址到连接池中,连接用Memcache::addServer打开
- 脚本执行完后自动关闭,或者可以用Memcache::close()手动关闭
- 相同函数是memcache_add_server()
- 当用这个方法的时候(相对于Memcache::connect()和 Memcache::pconnect()方法),网络连接只有等需要的时候才会建立,因此不会因为增加很多的服务器到连接池而增加系统负担,因为很多服务器可能没有使用
故障恢复
- 故障恢复会发生在这个方法执行的任何阶段,只要其他的服务器是正常的,这些连接请求的失败用户不会注意到
- 任何一种socket或者memcached服务器级的错误可以触发故障恢复
- 正常的客户端错误比如增加一个存在的键值不会引发故障恢复
参数
- $host服务器的地址
- $port服务器端口
- $persistent是否是一个持久连接
- $weight这台服务器在所有服务器中所占的权重
- $timeout连接的持续时间
- $retry_interval连接重试的间隔时间,默认为15,设置为-1表示不进行重试
- $status控制服务器的在线状态
- $failure_callback允许设置一个回掉函数来处理错误信息
Memcache::close
bool Memcache :: close ( void )
说明
- 关闭memcache服务器连接
- 这个函数不会关闭长连接,长连接只有在web服务器关闭或者重启的时候才会关闭
- 相同的函数memcache_close()
Memcache::connect
bool Memcache :: connect ( string $host [ , int $port [ , int $timeout ]] )
说明
- 打开memcached服务器连接,建立一个到memcached服务器的连接,用Memcache::connect打开的连接会在脚本执行完毕后自动关闭
- 你也可以用Memcache::close()去关闭连接
- 相同的函数是memcache_connect()
参数
- $host:指向memcached正在收听的链接的主机,这个参数会有另一种特殊的连接方式unix:///path/to/memcached.sock,即用unix的域名sockets,这种情况下,端口必须设置为0
- $port:指向memcached正在收听的链接的端口,用unix的域名sockets的情况下,端口必须设置为0
- $timeout:用于连接守护进程的秒数,当你改变默认的1秒的值的时候,你需要考虑一下,如果你的连接太慢的话,你可能会失去缓存的优势。
memcache::debug
bool memcache_debug ( bool $on_off )
说明
- 控制调试功能,前提是php在编译的时候使用了-enable-debug选项,否则这个函数不会有作用
参数
- $on_off:true表示开启调试,false表示关闭调试
返回值
- 如果php在编译的时候使用了-enable-debug选项,返回true,否则返回false
Memcache::decrement
int Memcache :: decrement ( string $key [ , int $value ] )
说明
- Memcache::decremen方法的作用是对保存的某个key中的值进行减法操作,用法跟Memcache::increment类似
- 也可用memcache_decrement()函数
参数
- $Key:想要减少的键的名字
- $Value:想要减少的值
返回值
- 如果成功,返回被减少后的值,如果失败返回false
Memcache::delete
bool Memcache :: delete ( string $key [ , int $timeout ] )
说明
- 一个key值,如果参数$timeout被设置,那么存储的值会在设置的秒数以后过期,你也可以用函数memcache_delete()
Memcache::flush
bool Memcache :: flush ( void )
说明
- 清除所有缓存的数据。Memcache::flush实际上没有释放资源,它仅仅将所有的缓存标记为过期,这样可以使新的缓存来覆盖被占的内存空间
- 一样的函数是memcache_flush()
Memcache::get
string Memcache :: get ( string $key [ , int & $flags ] )
array Memcache :: get ( array $keys [ , array & $flags ] )
说明
- 方法的作用是获取一个key值,key值可以是一个数组,结果会包含键值对
参数
- $key是键值或者一个键的数组值
- $flags如果这个参数存在,那么$flags跟写入这个参数的值相关,这些$flags 类似于Memcache::set()函数里的$flags
返回值
- 如果成功,则返回key对应的值,如果失败则返回false
Memcache::getExtendedStats
array Memcache :: getExtendedStats ([ string $type [ , int $slabid [ , int $limit ]]] )
说明
- 获取进程池中所有进程的运行系统统计
- 相同函数是 memcache_get_extended_stats()
参数
- $type表示要求返回的类型:reset, malloc, maps, cachedump, slabs, items, sizes
- $slabid第一个参数设置为”cachedump”时使用的
- $limit第一个参数设置为”cachedump”时使用的
Memcache::getServerStatus
int Memcache :: getServerStatus ( string $host [ , int $port ] )
说明
- 获取运行服务器的参数,返回一个服务器在线或者离线的状态
- 相同的函数是memcache_get_server_status()
参数
- $host:正在收听的连接的主机
- $port正在收听的连接的主机的端口,默认是11211
返回值
- 成功返回服务器状态,服务器没有启动会返回0,其他数字的时候表示服务器是启动状态的
Memcache::getStats
array Memcache :: getStats ([ string $type [ , int $slabid [ , int $limit ]]] )
说明
- 返回服务器的一些运行统计信息
- 相同的函数是memcache_get_stats()
参数
- $type表示要求返回的类型:reset, malloc, maps, cachedump, slabs, items, sizes
- $slabid第一个参数设置为”cachedump”时使用的
- $limit第一个参数设置为”cachedump”时使用的
Memcache::getVersion
string Memcache :: getVersion ( void )
说明
- 返回运行的Memcache的版本信息
- 相同函数memcache_get_version()
Memcache::increment
int Memcache :: increment ( string $key [ , int $value ] )
- 对保存的某个key中的值进行加法操作
- 用法参考Memcache::decrement
Memcache::pconnect
bool Memcache :: pconnect ( string $host [ , int $port [ , int $timeout ]] )
说明
- 创建一个Memcache的持久连接对象
- 这个连接在脚本执行完或者Memcache::close()函数运行也不会被关闭
- 与它相同的函数是memcache_pconnect()
参数
- $host:指向memcached正在收听的链接的主机,这个参数会有另一种特殊的连接方式unix:///path/to/memcached.sock,即用unix的域名sockets,这种情况下,端口必须设置为0
- $port:指向memcached正在收听的链接的端口,用unix的域名sockets的情况下,端口必须设置为0
- $timeout:用于连接守护进程的秒数,当你改变默认的1秒的值的时候,你需要考虑一下,如果你的连接太慢的话,你可能会失去缓存的优势
Memcache::replace
bool Memcache :: replace ( string $key , mixed $var [ , int $flag [ , int $expire ]] )
说明
- 对一个已有的key进行覆写操作
- 相同函数是memcache_replace()
参数
- $key :将要存储的键值
- $var :存储的值,字符型和整型会按原值保存,其他类型自动序列化以后保存
- $flag:是否用 MEMCACHE_COMPRESSED 来压缩存储的值, true 表示压缩, false 表示不压缩
- $expire:存储值的过期时间,如果为0表示不会过期,你可以用unix时间戳或者描述来表示从现在开始的时间,但是你在使用秒数表示的时候,不要超过2592000秒 (表示30天)
Memcache::set
bool Memcache :: set ( string $key , mixed $var [ , int $flag [ , int $expire ]] )
说明
- 添加一个值,如果已经存在,则覆写
- 相同函数是memcache_set()
参数
- $key :将要存储的键值
- $var :存储的值,字符型和整型会按原值保存,其他类型自动序列化以后保存
- $flag:是否用 MEMCACHE_COMPRESSED 来压缩存储的值, true 表示压缩, false 表示不压缩
- $expire:存储值的过期时间,如果为0表示不会过期,你可以用unix时间戳或者描述来表示从现在开始的时间,但是你在使用秒数表示的时候,不要超过2592000秒 (表示30天)
Memcache::setCompressThreshold
bool Memcache :: setCompressThreshold ( int $threshold [ , float $min_savings ] )
说明
- 对大于某一大小的数据进行压缩
- 相同的函数是memcache_set_compress_threshold()
参数
- setCompressThreshold方法有两个参数,第一个参数表示处理数据大小的临界点,第二个参数表示压缩的比例,默认为0.2
Memcache::setServerParams
bool Memcache :: setServerParams ( string $host [ , int $port [ , int $timeout [ , int $retry_interval [ , bool $status [ , callback $failure_callback ]]]]] )
说明
- 在运行时修改服务器的参数
- 相同函数是memcache_set_server_params()
参数
- $host服务器的地址
- $port服务器端口
- $timeout连接的持续时间
- $retry_interval连接重试的间隔时间,默认为15,设置为-1表示不进行重试
- $status控制服务器的在线状态
- $failure_callback允许设置一个回掉函数来处理错误信息
参考资料
- 图片来源于网络
- Memcached官网
- Memcached完全剖析