使用Memcached提高.NET应用程序的性能

使用Memcached提高.NET应用程序的性能 2011-03-27 20:31:26

标签：分布式缓存 .NET Memcached Performance 性能

原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://zhoufoxcn.blog.51cto.com/792419/528212

在应用程序运行的过程中总会有一些经常需要访问并且变化不频繁的数据，如果每次获取这些数据都需要从数据库或者外部文件系统中去读取，性能肯定会受到影响，所以通常的做法就是将这部分数据缓存起来，只要数据没有发生变化每次获取这些数据的时候直接从内存中区获取性能肯定会大大地提高。在.NET中提供了一个Cache类可以实现这些功能。在ASP.NET中可以通过HttpContext 对象的 Cache 属性或 Page 对象的 Cache 属性来获取这个类的实例。 在大部分情况下我们都可以使用Cache类来提高ASP.NET的性能，但是使用Cache类也有一些不足，比如我们不能指定Cache类所占用的内存的大小，此外在Cache中缓存的数据没有办法被另一台机器上的应用程序直接访问，因此在本文中提出另一种数据缓存方案，那就是使用分布式缓存。分布式缓存的特点是缓存的数据不必和应用程序在同一台机器上，从而大大增强了缓存数据的复用性。在本文介绍如何在.NET应用中使用Memcache作为分布式缓存。 Memcached介绍 Memcached 是以LiveJournal 旗下Danga Interactive 公司的Brad Fitzpatric 为首开发的一款软件。在通常的应用中我们都会将数据保存到数据库中，每次需要的时候都会从数据库去查询这些数据，如果应用程序的用户很多就会出现大量并发访问数据库的情况，这样就会增加应用程序的响应时间，使用Memcached就可以有效解决这个问题。memcached是高性能的分布式内存缓存服务器。一般的使用目的是，通过缓存数据库查询结果，减少数据库访问次数，以提高动态Web应用的速度、提高可扩展性。像大名鼎鼎的Facebook网站就使用了Memcached。周公稍后会提供Windows平台上32位和64位的Memcached程序。 为了提高性能，Memcached中的数据都保存在Memcached内置的存储空间中。因为当Memcached重启会导致其中的数据全部丢失，所以一般的方案是将数据保存在数据库中，每次请求数据的时候先查看在Memcached有没有缓存，如果有就直接从缓存中取出数据；如果没有，就从数据库中取出数据返回给应用程序并将请求的数据缓存到Memcached中，这样一来下次请求相同的数据就可以直接从Memcached中读取而不用再去查数据库了；一旦对数据有更新，同时更新数据库和Memcached。 Memcached是一个命令行窗口程序，可以在命令行窗口中启动也可以封装在系统服务中启动。在启动Memcached时需要提供一些必须的参数，指定Memcached运行时监听的端口和最大使用的内存大小等。如果缓存的数据大小超过指定内存，那么Memcached就会按照LRU(Least Recently Used)算法自动“删除”不使用的缓存（标记为失效），新增的缓存数据就可以使用这些标记为失效的数据所占用的内存，这样就不用担心Memcached超出所指定内存的问题。此外，为了提高性能，在缓存数据过期后Memcached并不是从物理内存中删除缓存的数据，仅仅在取出改数据的时候检查它是否已经过了有效期。 目前有多种平台的Memcached版本，比如Linux、FreeBSD、Solaris (memcached 1.2.5以上版本)、Mac OS X及Windows平台，在Windows平台上还有32位和64位版本。 Memcached有一套协议，利用这套协议可以对Memcached进行数据存取和查看Memcached的状态，很多程序语言都依据这套协议来操作Memcached，比如PHP、Java、C、C++及C#等。 获取了对应平台的Memcached版本就可以运行Memcached了。在这里仅以Windows平台上的32位Memcached为例。 运行Memcached： memcached.exe -p 11121 -m 64 上面的命令是运行Memcached，指定它的监听端口是11121（这是它的默认端口，可以指定为其它大于1024的端口，因为小于1024的端口已经有了默认指定），最大使用内存为64m，如果启用了Windows防火墙，切记要在防火墙上打开这个端口。 在调试程序时可以使用下面的命令行来运行： memcached.exe -p 11121 -m 64 -vv 这样就会看到如下的结果： slab class   1: chunk size     88 perslab 11915 slab class   2: chunk size    112 perslab  9362 slab class   3: chunk size    144 perslab  7281 slab class   4: chunk size    184 perslab  5698 slab class   5: chunk size    232 perslab  4519 slab class   6: chunk size    296 perslab  3542 slab class   7: chunk size    376 perslab  2788 slab class   8: chunk size    472 perslab  2221 slab class   9: chunk size    592 perslab  1771 slab class  10: chunk size    744 perslab  1409 slab class  11: chunk size    936 perslab  1120 slab class  12: chunk size   1176 perslab   891 slab class  13: chunk size   1472 perslab   712 slab class  14: chunk size   1840 perslab   569 slab class  15: chunk size   2304 perslab   455 slab class  16: chunk size   2880 perslab   364 slab class  17: chunk size   3600 perslab   291 slab class  18: chunk size   4504 perslab   232 slab class  19: chunk size   5632 perslab   186 slab class  20: chunk size   7040 perslab   148 slab class  21: chunk size   8800 perslab   119 slab class  22: chunk size  11000 perslab    95 slab class  23: chunk size  13752 perslab    76 slab class  24: chunk size  17192 perslab    60 slab class  25: chunk size  21496 perslab    48 slab class  26: chunk size  26872 perslab    39 slab class  27: chunk size  33592 perslab    31 slab class  28: chunk size  41992 perslab    24 slab class  29: chunk size  52496 perslab    19 slab class  30: chunk size  65624 perslab    15 slab class  31: chunk size  82032 perslab    12 slab class  32: chunk size 102544 perslab    10 slab class  33: chunk size 128184 perslab     8 slab class  34: chunk size 160232 perslab     6 slab class  35: chunk size 200296 perslab     5 slab class  36: chunk size 250376 perslab     4 slab class  37: chunk size 312976 perslab     3 slab class  38: chunk size 391224 perslab     2 slab class  39: chunk size 489032 perslab     2 <96 server listening <112 server listening <116 send buffer was 8192, now 268435456 <116 server listening (udp) 在客户端还可以通过telnet来查看和操作Memcached，前提是服务器端和客户端都支持Telnet协议，在Windows7和Windows2008中默认都不支持，需要在控制面板中安装和启用。 首先打开控制面板，然后点击“打开或关闭Windows功能”，如下图所示：

点击“打开或关闭Windows功能”之后会看到当前系统启用的功能的状态，根据当前机器选择打开Telnet服务器端或者客户端功能，如下图所示：

经过上面的操作之后就可以在客服端远程查看Memcached的状态或者操作Memcached了。下面的命令就是连接到Memcached： telnet localhost 11121 连接之后会出现一个命令行窗口，在这个命令行窗口中输入"stats"就可以看到当前Memcached的状态，如下就是刚刚启动的Memcached的状态数据： STAT pid 852 STAT uptime 1399 STAT time 1300979378 STAT version 1.2.5 STAT pointer_size 32 STAT curr_items 0 STAT total_items 0 STAT bytes 0 STAT curr_connections 3 STAT total_connections 5 STAT connection_structures 4 STAT cmd_get 0 STAT cmd_set 0 STAT get_hits 0 STAT get_misses 0 STAT evictions 0 STAT bytes_read 23 STAT bytes_written 415 STAT limit_maxbytes 67108864 STAT threads 1 END 通过这个数据我们就可以了解Memcached的状态了。 这些数据所代表的意义如下： pid：32u，服务器进程ID。
uptime：32u， 服务器运行时间，单位秒。 time ：32u， 服务器当前的UNIX时间。 version ：string， 服务器的版本号。 curr_items ：32u， 服务器当前存储的内容数量 Current number of items stored by the server total_items ：32u， 服务器启动以来存储过的内容总数。 bytes ：64u， 服务器当前存储内容所占用的字节数。 curr_connections ：32u， 连接数量。 total_connections ：32u， 服务器运行以来接受的连接总数。 connection_structures：32u， 服务器分配的连接结构的数量。 cmd_get ：32u， 取回请求总数。 cmd_set ：32u， 存储请求总数。 get_hits ：32u， 请求成功的总次数。 get_misses ：32u， 请求失败的总次数。 bytes_read ：64u， 服务器从网络读取到的总字节数。 bytes_written ：64u， 服务器向网络发送的总字节数。 limit_maxbytes ：32u， 服务器在存储时被允许使用的字节总数。 上面的描述中32u和64u表示32位和64位无符号整数，string表示是string类型数据。

在.NET中应用Memcached 有很多.NET版本的Memcached客户端程序，在这里周公使用的Enyim Memcached，可以到https://github.com/enyim/EnyimMemcached/下载最新的版本。 要想在项目中使用Memcached，需要添加对Enyim.Caching.dll的应用。除此之外，我们可能还需要在config文件中配置Memcached的信息（也可以在程序代码中指定，但那样不灵活），如下就是一个config文件配置的例子：

<?xml version="1.0" encoding="utf-8" ?>
<configuration>
  <configSections>
    <sectionGroup name="enyim.com">
      <section name="memcached" type="Enyim.Caching.Configuration.MemcachedClientSection, Enyim.Caching" />
    </sectionGroup>
  </configSections>
  <enyim.com protocol="Binary">
    <memcached>
      <servers>
        <add address="localhost" port="11121" />
        <!--<add address="localhost" port="11131" />
        <add address="localhost" port="11141" />
        <add address="localhost" port="11151" />-->
      </servers>
      <socketPool minPoolSize="10" maxPoolSize="100" connectionTimeout="00:00:10" deadTimeout="00:02:00" />
    </memcached>
  </enyim.com>
</configuration>

如果我们配置了多个Memcached的实例，可以想上面的注释部分那样在<servers>节点下添加多个Memcached的实例配置。 这里需要说明的是如果我们需要向Memcached中添加自定义数据类型时，我们需要将该数据类型添加上[Serializable]标记。 下面是一个Enyim Memcached的例子：

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using Enyim.Caching;
using Enyim.Caching.Memcached;
/*
 * 作者：周公(zhoufoxcn)
 * 日期：2011-03-24
 * 原文出处：http://blog.csdn.net/zhoufoxcn 或http://zhoufoxcn.blog.51cto.com
 * 版权说明：本文可以在保留原文出处的情况下使用于非商业用途，周公对此不作任何担保或承诺。
 * */
namespace MemcachedMonitor
{
[Serializable]
public class Person
{
    public int UserId { get; set; }
    public string UserName { get; set; }
}
public class MemcachedDemo
{
    private static MemcachedClient client = new MemcachedClient("enyim.com/memcached");
    public void SetDemo()
    {
        Person person = new Person { UserId = 1, UserName = "李刚" };
        //不带过期时间的存储，Memcached将根据LRU来决定过期策略
        bool success=client.Store(StoreMode.Add, person.UserName, person);
        //带过期时间的缓存
        //bool success = client.Store(StoreMode.Add, person.UserName, person, DateTime.Now.AddMinutes(10));
        Console.WriteLine("存储[{0}]的结果：{1}", person.UserName, success);
    }
    public void GetDemo()
    {
        Person person = client.Get<Person>("李刚");
        if (person != null)
        {
            Console.WriteLine("取回[{0}]的结果——UserId:{1},UserName:{2}", "李刚", person.UserId, person.UserName);
        }
        else
        {
            Console.WriteLine("取回[{0}]失败!", "李刚");
        }
    }
    public void MultiGetDemo()
    {
        List<string> personNameList = new List<string>();
        for (int i = 0; i < 10; i++)
        {
            personNameList.Add("李刚00" + i);
        }
        //批量获取，只通过一次网络通讯就取回所有personNameList中的指定的所有数据
        IDictionary<string, object> resultList = client.Get(personNameList);
        Person person;
        foreach (KeyValuePair<string, object> item in resultList)
        {
            person = item.Value as Person;
            if (person != null)
            {
                Console.WriteLine("取回[{0}]的结果——UserId:{1},UserName:{2}", "李刚", person.UserId, person.UserName);
            }
            else
            {
                Console.WriteLine("取回[{0}]失败!", "李刚");
            }
        }
    }
}
}

说明：如果需要一次从Memcached中取回多个缓存的数据，可以参考MultiGetDemo()方法，这样一来只需要一次网络通讯就可以取回全部数据，减少网络连接时间。此外，在Memcached客户端可以使用Text或者Binary协议，经过周公千万次测试比较，使用Binary协议性能略高于使用Text协议。在上面的config文件中周公就配置使用了Binary协议。 总结，使用Memcached这样的分布式缓存可以大大提高应用程序的性能，经过周公测试，正确使用Memcached可以将单台服务器的并发访问数从20提高到1000左右，也就是提高了50倍，这是一个相当客观的提升！限于篇幅，关于Memcached的更深更详细的用法没有在本篇介绍，此文算作抛砖引玉，读者可以自行参考其它相关资料。