刘连春 关于memcached使用的两个坑
http://hi.baidu.com/joysoftfan/blog/item/e6deaae459d7ae3ab9382035.html
|
关于slab之间无法共享内存： Memcached里的数据是按不同的size放在不同的slab里，每个slab有一个自己的LRU链表， slab占用内存的方式是只进不出，假设memcached内存上限为1000M，我存入1000M 100k大小的数据，过期时间都是1秒， 1秒后尝试set一条500k的数据就会失败，虽然前期的100k数据都是过期的,也没有办法将其它slab的内存“借”过来用。这就是slab之间无法 共享内存的现象， 使用memcached的时候我们必须十分小心。 关于过期时间： 现在我们公司使用的memcached服务器版本是1.2.2 这个版本的memcached是没有主动回收过期item功能的，也就是说即使存入的数据都设置成1秒钟后过期，每秒钟插入一条数 据，memcached也会先把内存吃光，然后才按照LRU的规则删除后面的数据，这种情况下，设不设置过期时间是没有区别的， 过期时间在1.2.2版本上只有当有人get这条item的时候，才会检查item是否过期，如果过期了就将item占用的内存释放掉， 也就是说，存入数据后，如果没有人访问这条数据，过期时间是不起作用的。 1.4.5版本的memcached改进了对过期时间的处理，当存入一条数据时，它会检查最后50条数据里是否有已过期的数据，如果有就将其释放，这样就不用去占用新的内存了。但这里也有一个很明显的缺点，如果最后50条数据都是不过期的，即使其他的数据都过期了也没用。 为了优化过期数据处理，我在1.4.5版本基础上写了个patch, 当slab里的内存不够用，想要申请系统内存时，扫描一下整个slab, 将过期的item释放掉。 为了不影响set的性能，这个检查10秒钟内最多进行一次。 经实际测试，对memcached的性能影响几乎为0。 建议使用memcached 1.2.2 的地方尽量将版本升级到1.4.5, 最好是能打我写的补丁。 机票现在正在分批进行升级。 补丁包： qunar-memcached-1.4.5-1.0.1.patch --------- http://www.echohello.cn/download/memcached_allocator_slab_langwan.pdf 孙立 13:10:15 memcached的确有这些问题 http://www.echohello.cn/download/memcached_allocator_slab_langwan.pdf 孙立 13:10:33 这个pdf是我们这边做的分析 孙立 13:13:13 你们的分析跟我的结果有点不一样，LRU算法不是保证过期才剔除，而是不太常用的就剔除 David ------------------- LRU算法不是保证过期才剔除，而是不太常用的就剔除 这句话是对的，我也是这个意思。 而且LRU不是全局的，而是每个slab一个LRU链表， 根据大小被划分到不同slab的item是彼此不受影响的， item只能挤走和自己在一个slab里的item. 如果一个item长时间没有被访问或更新，就会排到LRU的尾部， GET 的时候会导致item被移到LRU的头部，只是有一个小限制，1个item, 1分钟内最多更新一次。 也就是如果每秒都访问一次相同的key, 连续访问1分钟，和只访问1次，对item在LRU中位置的影响是一样的。 |
