memcached源代码阅读笔记(一)
2011-12-02 14:28 横刀天笑 阅读(4125) 评论(0) 编辑 收藏 举报缓存在系统设计中占有非常重要的地位。对于构建大型系统,缓存的使用非常重要。一般,缓存的目的都是为了将那些耗时又耗资源的东西,临时的保存在一个能够快速获取的地方,以此来减少资源的消耗,让我们可以更快的得到那些东西。简单的情况,比如我们可以把从数据库里取到的数据放到一个hashtable中,比如以sql为条件。在一定时间内,只要去数据库里取一次,然后就可以重复利用多次。这是个非常简单的缓存利用场景。
但是随着系统规模的增长,这种缓存机制就慢慢的不足以应付我们的需求。因为hashtable的这种方式,决定着这个hashtable肯定是与我们的应用放到同一个进程的。如果系统规模大了,我们可能要部署多个应用,进程内的hashtable不能为多个不同进程的应用提供支持了,我们就必须将这个hashtable独立出来,独立到应用外,让几个应用共享这个hashtable。这样,专门的缓存服务器就出现了。而memcache就是这其中极为优秀的一款。
那么从表面来看,类似memcache这种缓存服务器的结构应该是这个样子:
user <--------command and data---------> Network layer <----------------->parse user command <------------hashtable
更通俗点讲就是讲一个hashtable放到了网上提供服务。
但是,因为这样我们访问缓存需要访问网络,所以就比访问本地的hashtable性能要差。而且一般来讲,在一个繁忙的系统种,缓存的访问是非常频繁的,如果缓存访问不频繁,那么大部分请求就会落到最终的资源上:比如数据库。这样就会给这些慢速的资源带来更大的压力。
所以这种缓存服务器的网络层一定要优秀,除了能提供很大的并发量外,还要能提供很好的响应能力。而作为后端的hashtable也要提供很好的访问速度。在内存分配上也要更有效率。
memcache
memcache是一个用C写的缓存服务器。它的网络层使用的是大名鼎鼎的libevent(一个基于事件驱动的网络库)。libevent在linux上可以利用epoll这柄利器,而在windows上能利用IOCP这把尖刀。除此之外,还能将网络的传输与业务逻辑处理分离开来。
好了,上面对缓存的基本知识做了点介绍,也简单的介绍了下memcache的结构,下面我们将先从一个用户的角度来简单看看如何使用memcache,会使用后再深入代码,也能相互做个对应。
跟所有的开源代码一样,checkout出来,三步就可以使用了:
./configure
make
make install
然后进入memcache的目录,启动memcached:
./memcached -p 9000
memcached提供了tcp和udp两种方式,不过大部分时候我们都是采用tcp的方式。memcache的协议也有两种方式:文本和二进制。
注:现在memcache的协议基本上成了很多网络服务的标准协议了。即使一些跟memcache半点关系都没有的服务也提供memcache协议访问的方式,这样可以让memcache客户端来连接。
下面我们就用telnet连上memcache服务器,简单的操作几个命令:
>telnet 127.0.0.1 9000
stats
stats settings
set user1 32 0 10
{'uname':'yuyijq','pwd':'12345'}
STORED
上面的命令将一个User对象的JSON放到memcache中。
get user1
{'uname':'yuyijq','pwd':'12345'}
END
根据刚才存储的key,取回那个用户对象的json串。
因为这个协议非常简单命令,所以也很容易开发一个client,在程序里我们就可以利用上memcache这个利器了。
好了,下一篇我们将根据这一篇输入的几个命令,来对应的追随代码的脚印。