Memcached内存缓存技术
Memcached是什么，有什么作用？
Memcached是一个开源的、高性能的内存缓存软件，从名称上看Mem就是内存的意思，而Cache就是缓存的意思。
Memcached通过在事先规划好的内存空间中临时缓存数据库中的各类数据，以减少业务直接对数据库的访问，从而减轻数据库的访问压力和网站集群的响应速度。
Memcached服务在企业集群架构中应用场景
1.作为数据库的前端缓存应用
完整缓存（易）：例如商品分类，以及商品信息，可实现放到内存里，然后再对外提供数据访问。这个被称之为预热。用户访问时可以只读取memcached缓存，不读取数据库了。
热点缓存（难）：需要前端程序配合。只缓存热点的数据，即缓存经常被访问的数据。先预热基础数据，然后再动态更新。程序先读取缓存，如果缓存里没有对应的数据，程序再去读取数据库，然后程序把读到的数据放入缓存。
特殊说明：
如果碰到电商秒杀等高并发的业务，一定要事先预热，或者其他思想实现，例如：秒杀只是获取资格，而不是瞬间秒杀到手商品。如果数据更新，要同时触发缓存更新，防止给用户过过期数据。
2.作为集群的session会话共享存储
优点：速度比files块，可以解决共用session问题
缺点：不能持久化，只能单点部署，多点数据无法同步，即使用hash分配节点，也会有session丢失
Memcached服务在不同企业业务应用场景中的工作流程
1.当web程序需要访问后端数据库获取数据时会优先访问Memcached内存缓存，如果缓存中有数据就直接获取返回前端服务及用户，如果没有数据（未命中），再由程序请求后端的数据库服务器，获取到对应的数据后，除了返回给前端服务及用户数据外，还会把数据放到Memcached内存中进行缓存，等待下次被访问。Memcahced内存始终是数据库的挡箭牌，从而大大的减轻数据库的访问压力，提高整个网站架构的响应速度，提升了用户体验。
2.当程序更新，修改或删除数据库中已有的数据时，会同时发送请求通知Memcached已经缓存过的同一个ID内容的旧数据失效，从而保证Memcahce中的数据和数据库中的数据保持一致。如果是在高并发场合，除了通知Memcached过期的缓存失效外，还会通过相关机制，使得在用户访问新数据前，通过程序预先把更新过的数据推送到memcached中缓存起来，这样可以减少数据库的访问压力，提升memcached中缓存的命中率。
3.数据库插件可以在写入更新数据库后，自动抛给MC缓存起来，自身不Cache
Memcached服务分布式集群如何实现？
1.程序端实现
程序加载所有mc的ip列表，通过对key做hash（一致性哈希），从而映射到某一台mc，相同的key永远映射到同一台的mc。 Hash就是将任意长度的输入转化成固定长度的输出。
一致性哈希的目的：不但保证每个对象只请求一个对应的服务器，同时保证当某个节点宕机，缓存服务器的更新重新分配比例降到最低。
2.负载均衡器实现：由负载均衡器来做hash
特殊说明：memcached集群和web服务集群是不一样的，所有memcached数据总和才是数据库的数据。每台memcached只有一部分数据。
Memcached服务特点及工作原理是什么？
a.节点之间相互独立
b.数据是以key/value对形式存在的
c.C/S模式架构，C语言编写，总共代码2000多行
d.异步I/O模型，使用libevent事件通知机制
e.全部数据放入内存，无持久性设计，重启服务数据丢失 （缺点）
f.当内存中缓存的数据容量达到启动时设定的内存值时，自动使用LRU算法删除过期的缓存数据
g.可以对存储的数据设置过期时间，这样过期后数据自动被清除，服务本身不会监控过期，而是在访问的时候查看key的时间戳判断是否过期
h.memcached内存分配机制是对特定的内存进行分块，再把多个块分为组
Memcached内存管理机制原理
malloc的全称是memory allocation，中文叫动态内存分配，当无法知道内存具体位置的时候，想要绑定真正的内存空间，就需要用到动态的分配内存。
早期的memcached内存管理方式是通过malloc分配的内存，使用完后通过free来回收内存。这种方式容易产生内存碎片并降低操作系统对内存的管理效率。加重操作系统内存管理器的负担，最坏的情况下，会导致操作系统比memcached进程本身还慢，为了解决上述问题，Slab Allocator内存分配机制就产生了
现在的memcached就是利用Slab Allocation机制来分配和管理内存。
Slab Allocation机制原理是按照预先规定的大小，将分配给memcached的内存分割成特定长度的内存块chunk，再把尺寸相同的内存块分成组（chunks slab class），这些内存块不会释放，可以重复利用。
Memcached服务器端中保存着slab class中空闲chunk个数的列表，根据该列表选择chunk，然后将数据缓存于其中。当有数据存入时，Memcached根据接收到的数据大小，分配一个能存下这个数据的最小内存块chunk。但是缺点在于由于分配的chunk大小是固定的，所以会有部分空间被浪费。
避免浪费的办法是，预先计算出应用存入的数据大小或把同一业务类型的数据存入一个Memcached服务器中，确保存入的数据大小相对均匀。同时使用-f<factor> chunk size growth factor增长因子来划分chunk大小，进行调优。各组之间chunk的大小按照factor对应倍数递增，factor的默认值是1.25。
同时slab allocator还有重复使用已分配的chunk的作用。也就是说，分配到的chunk不会释放，而是重复利用，用新数据替换旧数据。
Slab主要术语：
Page：分配给Slab的内存空间
Chunk：内存块
Slab Class：多个特定大小的chunk组成的组，一般也叫slabs
Memcached的删除原理与删除机制
Memcached主要的删除机制是LRU（最近最少用）算法，加上item过期失效。当您存数据到memcached中，可以指定该数据在缓存中可以呆多久。如果memcached内存不够用，过期的数据会优先被替换，接着轮到最老的未被使用的数据。在某些情况下（完整缓存），如果不想用LRU算法，可以通过-M参数启动Memcached，这样memcached内存耗尽也不会删除，宁愿报错也不删除。
Memcached服务端与客户端的安装部署与使用测试
#安装memcached前需要安装libevent yum install libevent-devel nc -y #源码安装memcahced cd /server/tools wget http://memcached.org/files/memcached-1.4.24.tar.gz tar xf memcached-1.4.24.tar.gz cd memcached-1.4.24 ./configure --prefix=/application/memcached-1.4.24 make make install ln -s /application/memcached-1.4.24/ /application/memcached #启动一个Mem实例 /application/memcached/bin/memcached -m 16m -p 11211 -d -u root -c 8192 # 分配的内存 端口 后台 用户 最大并发连接数 lsof -i :11211 ps -ef | grep memcached | grep -v grep root 2984 1 0 23:10 ? 00:00:00 /application/memcached/bin/memcached -m 16m -p 11211 -d -u root -c 8192 #可以启动多个Mem实例 /application/memcached/bin/memcached -m 16m -p 11212 -d -u root -c 8192 ps -ef | grep memcached | grep -v grep root 2984 1 0 23:10 ? 00:00:00 /application/memcached/bin/memcached -m 16m -p 11211 -d -u root -c 8192 root 3036 1 0 23:16 ? 00:00:00 /application/memcached/bin/memcached -m 16m -p 11212 -d -u root -c 8192 #加入开机启动 echo "/application/memcached/bin/memcached -m 16m -p 11211 -d -u root -c 8192" >> /etc/rc.local echo "/application/memcached/bin/memcached -m 16m -p 11212 -d -u root -c 8192" >> /etc/rc.local #测试服务端是否正常 [root@nagios tools]# printf "set key1 0 0 5\r\npeter\r\n" | nc 127.0.0.1 11211 STORED [root@nagios tools]# printf "get key1\r\n" | nc 127.0.0.1 11211 VALUE key1 0 5 peter END [root@nagios tools]# printf "delete key1\r\n" | nc 127.0.0.1 11211 DELETED #客户端php插件memcache安装 cd /server/tools/ wget http://pecl.php.net/get/memcache-2.2.7.tgz tar xf memcache-2.2.7.tgz cd memcache-2.2.7 /application/php/bin/phpize ./configure --enable-memcache --with-php-config=/application/php/bin/php-config make make install Installing shared extensions: /application/php-5.3.27/lib/php/extensions/no-debug-non-zts-20090626/ ls -l /application/php-5.3.27/lib/php/extensions/no-debug-non-zts-20090626/ total 244 -rwxr-xr-x 1 root root 246696 Sep 1 22:51 memcache.so vim /application/php/lib/php.ini ; http://php.net/extension-dir extension_dir = "/application/php-5.3.27/lib/php/extensions/no-debug-non-zts-20090626/" extension=memcache.so /application/php/sbin/php-fpm -t pkill php-fpm /application/php/sbin/php-fpm ps -ef | grep php-fpm #http://10.0.0.23/test_info.php
#连接测试
vim op_mem.php
<?php
$memcache = new Memcache;
$memcache->connect('172.16.1.23',11211) or die ("Could not connect Mc server");
$memcache->set('key','oldboy book');
$get=$memcache->get('key');
echo $get;
?>
/application/php/bin/php op_mem.php
oldboy book
如何实现集群中的session共享存储？
vim /application/php/lib/php.ini
1458 [Session]
1459 ; Handler used to store/retrieve data.
1460 ; http://php.net/session.save-handler
1461 session.save_handler = memcache #修改session存储方式
1462
1463 ; Argument passed to save_handler. In the case of files, this is the path
1464 ; where data files are stored. Note: Windows users have to change this
1465 ; variable in order to use PHP's session functions.
1466 ;
1467 ; The path can be defined as:
1468 ;
1469 session.save_path = "tcp://172.16.1.23:11211" #修改session存储路径
pkill php-fpm
/application/php/sbin/php-fpm
#http://10.0.0.23/test_info.php
session同步的多种方式
a. lb层可以做会话保持，例如：
lvs -p
nginx ip_hash
haproxy cookie insert
PHP,JAVA都可以用
b. 软件层，可以做session复制，例如
tomcat resin couchbase
c. session共享
memcache或者其他nosql工具，PHP常用这个
d. 高并发场景：例如门户网站用cookies或cookies配合session把用户级会话信息缓存在用户本地。高并发的场景cookies的效率比session要好很多
MEMCACHED服务的状态信息的获取，例如：命中率
1.通过memcache命令
printf "stats\r\n" | nc 127.0.0.1 11211 #Memcached各种状态信息 STAT pid 41346 #PID STAT uptime 4759 #服务已运行秒数 STAT time 1505572559 #服务当前UNIX时间戳 STAT version 1.4.24 #Memcached版本 STAT libevent 1.4.13-stable #libevent版本 STAT pointer_size 64 #操作系统指针大小 STAT rusage_user 0.121981 #进程累计用户时间 STAT rusage_system 0.112982 #进程累计系统时间 STAT curr_connections 10 #当前连接数 STAT total_connections 14 #服务运行以来总连接数 STAT connection_structures 11 #服务分配的连接结构数量 STAT reserved_fds 20 #内部使用的FD数 STAT cmd_get 1 #get请求次数 STAT cmd_set 1 #set请求次数 STAT cmd_flush 0 #flush请求次数 STAT cmd_touch 0 #touch请求次数 STAT get_hits 1 #get命中次数 STAT get_misses 0 #get未命中次数 STAT delete_misses 0 #delete未命中次数 STAT delete_hits 1 #delete命中次数 STAT incr_misses 0 #incr未命中次数 STAT incr_hits 0 #incr命中次数 STAT decr_misses 0 #decr未命中次数 STAT decr_hits 0 #decr命中次数 STAT cas_misses 0 #cas未命中次数 STAT cas_hits 0 #cas命中次数 STAT cas_badval 0 #cas使用擦拭次数 STAT touch_hits 0 #touch命中次数 STAT touch_misses 0 #touch未命中次数 STAT auth_cmds 0 #认证命令处理次数 STAT auth_errors 0 #认证命令失败次数 STAT bytes_read 53 #读取总字节数 STAT bytes_written 45 #写入总字节数 STAT limit_maxbytes 16777216 #分配内存总大小（字节） STAT accepting_conns 1 #接受新的连接 STAT listen_disabled_num 0 #失效的监听数 STAT threads 4 #当前线程数 STAT conn_yields 0 #连接操作主动放弃数目 STAT hash_power_level 16 #hash表等级 STAT hash_bytes 524288 #hash表大小 STAT hash_is_expanding 0 #hash表正在扩展 STAT malloc_fails 0 #分配内存失败的数目 STAT bytes 0 #已过期但未获取的对象数目 STAT curr_items 0 #当前的对象数目 STAT total_items 1 #当前存储占用的字节数 STAT expired_unfetched 0 #已过期但未获取的对象数目 STAT evicted_unfetched 0 #已驱逐但未获取的对象数目 STAT evictions 0 #LRU释放的对象数目 STAT reclaimed 0 STAT crawler_reclaimed 0 STAT crawler_items_checked 0 STAT lrutail_reflocked 0 END [root@nagios ~]# printf "stats settings\r\n" | nc 127.0.0.1 11211 #Memcached设置信息 [root@nagios ~]# printf "stats slabs\r\n" | nc 127.0.0.1 11211 #查看slabs相关信息 [root@nagios ~]# printf "stats items\r\n" | nc 127.0.0.1 11211 #查看items相关信息 [root@nagios ~]# printf "stats sizes\r\n" | nc 127.0.0.1 11211 #查看items的大小和个数 [root@nagios ~]# printf "stats reset\r\n" | nc 127.0.0.1 11211 #清理统计数据 #访问测试 [root@nagios nginx]# printf "stats\r\n" | nc 127.0.0.1 11211 | grep get STAT cmd_get 1 STAT get_hits 1 STAT get_misses 0 [root@nagios nginx]# printf "get key1\r\n" | nc 127.0.0.1 11211 END [root@nagios nginx]# printf "stats\r\n" | nc 127.0.0.1 11211 | grep get STAT cmd_get 2 STAT get_hits 1 STAT get_misses 1
2.通过Memcached管理工具Memadmin展示
#Memadmin是基于PHP和JQuery的Memcached管理监控工具 cd /server/tools wget http://www.junopen.com/memadmin/memadmin-1.0.12.tar.gz tar xf memadmin-1.0.12.tar.gz mv memadmin /application/nginx/html/www/ #http://10.0.0.88/memadmin
通过Nagios监控Memcached
1.监控指标：
端口
命名率
响应时间
模拟用户存取
2.Nagios插件开发
#模拟用户进行存取，测试memcached的状态
vim check_mc.sh
[ $# -ne 2 ] && {
echo "$0 ip port"
exit
}
#!/bin/bash
ServerIP=$1
ServerPort=$2
cmd="nc $ServerIP $ServerPort"
printf "delete key\r\n" | $cmd > /dev/null 2>&1
sleep 1
printf "set key 0 0 5\r\npeter\r\n" | $cmd > /dev/null 2>&1
if [ `printf "get key\r\n" | $cmd | grep peter | wc -l` -eq 1 ];then
echo "mc is alive."
exit 0
else
echo "mc is dead."
exit 2
fi
[root@nagios ~]# sh check_mc.sh 127.0.0.1 11211
mc is alive.
