MASA Framework 缓存入门与设计

概念

什么是缓存，在项目中，为了提高数据的读取速度，我们会对不经常变更但访问频繁的数据做缓存处理，我们常用的缓存有：

本地缓存
- 内存缓存：IMemoryCache
分布式缓存
- Redis: StackExchange.Redis

功能

目前，MasaFramework为我们提供了以下能力

IDistributedCacheClient: 分布式缓存
- Masa.Contrib.Caching.Distributed.StackExchangeRedis: 基于StackExchange.Redis实现的分布式缓存
IMultilevelCacheClient: 多级缓存
- Masa.Contrib.Caching.MultilevelCache: 基于内存缓存以及分布式缓存实现的多级缓存，支持监控缓存变更，分布式缓存更新后相应的内存缓存也会同步更新，避免命中过时的内存缓存导致获取错误的数据，同时也尽可能的将多个副本的内存缓存保持同步

入门

前提条件：安装.NET 6.0

分布式缓存

新建ASP.NET Core 空项目Assignment.DistributedCache，并安装Masa.Contrib.Caching.Distributed.StackExchangeRedis

dotnet new web -o Assignment.DistributedCache
cd Assignment.DistributedCache

dotnet add package Masa.Contrib.Caching.Distributed.StackExchangeRedis --version 0.6.0-rc.5

配置Redis配置信息

{
    "RedisConfig":{
        "Servers":[
            {
                "Host":"localhost",
                "Port":6379
            }
        ],
        "DefaultDatabase":3,
        "ConnectionPoolSize":10
    }
}

注册分布式缓存，并使用Redis缓存，修改Program.cs

var builder = WebApplication.CreateBuilder(args);

//注册分布式缓存
builder.Services.AddDistributedCache(distributedCacheOptions =>
{
    distributedCacheOptions.UseStackExchangeRedisCache();//使用分布式Redis缓存, 默认使用本地`RedisConfig`下的配置
});

使用分布式缓存的数据来源默认为 IOptionsMonitor<RedisConfigurationOptions>，如果本地未正确在RedisConfig节点配置缓存信息，且项目中也没有通过其它方式配置使其支持选项模式，则默认使用的Redis配置为： 地址: localhost、端口：6379，密码：空，数据库：db0

新建User类，用于接收用户信息

public class User
{
    public string Name { get; set; }

    public int Age { get; set; }
}

如何使用IDistributedCacheClient，修改Program.cs

// 设置缓存
app.MapPost("/set/{id}", async (IDistributedCacheClient distributedCacheClient, [FromRoute] string id, [FromBody] User user) =>
{
    await distributedCacheClient.SetAsync(id, user);
    return Results.Accepted();
});

// 获取缓存
app.MapGet("/get/{id}", async (IDistributedCacheClient distributedCacheClient, [FromRoute] string id) =>
{
    var value = await distributedCacheClient.GetAsync<User>(id);
    return Results.Ok(value);
});

多级缓存

新建ASP.NET Core 空项目Assignment.DistributedCache，并安装Masa.Contrib.Caching.MultilevelCache、Masa.Contrib.Caching.Distributed.StackExchangeRedis

dotnet new web -o Assignment.MultilevelCache
cd Assignment.MultilevelCache

dotnet add package Masa.Contrib.Caching.MultilevelCache --version 0.6.0-rc.5
dotnet add package Masa.Contrib.Caching.Distributed.StackExchangeRedis --version 0.6.0-rc.5

注册多级缓存，并使用分布式Redis缓存，修改Program.cs

var builder = WebApplication.CreateBuilder(args);

//注册多级缓存
builder.Services.AddMultilevelCache(distributedCacheOptions =>
{
    distributedCacheOptions.UseStackExchangeRedisCache();//使用分布式Redis缓存
});

新建User类，用于接收用户信息

public class User
{
    public string Name { get; set; }

    public int Age { get; set; }
}

如何使用IMultilevelCacheClient，修改Program.cs

// 设置缓存
app.MapPost("/set/{id}", async (IMultilevelCacheClient multilevelCacheClient, [FromRoute] string id, [FromBody] User user) =>
{
    await multilevelCacheClient.SetAsync(id, user);
    return Results.Accepted();
});

// 获取缓存
app.MapGet("/get/{id}", async (IMultilevelCacheClient multilevelCacheClient, [FromRoute] string id) =>
{
    var value = await multilevelCacheClient.GetAsync<User>(id);
    return Results.Ok(value);
});

测试

借助Postman或者Swagger或者使用其它API测试工具，分别测试设置缓存与获取缓存，以验证分布式缓存以及多级缓存是可以正常使用的。

友情提示：检查Redis缓存，找到刚刚你配置的缓存，确定下它的存储结果是否与你想象的一致!!

规则

经过测试，我们的分布式缓存与多级缓存是可以正常使用的，但查看Redis的存储结果后，发现它们实际的存储与我们心目中的结果好像是有点出入，它们分别是：

缓存Key不同 (与我们设置的Key不完全一致)
结构不同 (实际存储的为Hash类型)
内容不同 (内容经过压缩)

缓存Key的生成规则

缓存Key支持三种规则：

枚举	值	描述
None	1	不做处理，传入的Key即为实际的缓存Key
TypeName	2	实际的缓存Key = $"{GetTypeName(T)}.{传入缓存Key}" (默认)
TypeAlias	3	根据TypeName得到对应的别名与Key的组合，Format: ${TypeAliasName}{:}

详细规则可查看

存储结构与规则

Masa.Contrib.Caching.Distributed.StackExchangeRedis使用的是Hash存储，通过使用Hash存储，支持缓存的绝对过期以及相对过期，其中：

键	描述	详细	特殊
absexp	绝对过期时间的Ticks	自公历 `0001-01-01 00:00:00:000` 到绝对过期时间的计时周期数 (1周期 = 100ns 即 1/10000 ms)	-1 为永不过期
sldexp	滑动过期时间的Ticks	自公历 `0001-01-01 00:00:00:000` 到滑动过期时间的计时周期数 (1周期 = 100ns 即 1/10000 ms，每次获取数据时会刷新滑动过期时间)	-1 为永不过期
data	数据	存储用户设置的缓存数据

内容压缩规则

当存储值类型为以下类型时，不对数据进行压缩：

Byte
SByte
UInt16
UInt32
UInt64
Int16
Int32
Int64
Double
Single
Decimal

当存储值类型为字符串时，对数据进行压缩
当存储值类型不满足以上条件时，对数据进行序列化并进行压缩

分布式Redis缓存示例

分布式缓存注册

方案一. 通过本地配置文件注册

修改appsettings.json文件

{
    "RedisConfig":{
        "Servers":[
            {
                "Host":"localhost",
                "Port":6379
            }
        ],
        "DefaultDatabase":3,
        "ConnectionPoolSize":10
    }
}

注册分布式Redis缓存

builder.Services.AddDistributedCache(distributedCacheOptions =>
{
    distributedCacheOptions.UseStackExchangeRedisCache();
});

方案二. 手动指定Redis配置注册

builder.Services.AddDistributedCache(distributedCacheOptions =>
{
    distributedCacheOptions.UseStackExchangeRedisCache(options =>
    {
        options.Servers = new List<RedisServerOptions>()
        {
            new("localhost", 6379)
        };
        options.DefaultDatabase = 3;
        options.ConnectionPoolSize = 10;
        options.GlobalCacheOptions = new CacheOptions()
        {
            CacheKeyType = CacheKeyType.None //全局禁用缓存Key格式化处理
        };
    });
});

方案三. 通过选项模式注册

通过Configure方法使其支持选项模式

builder.Services.Configure<RedisConfigurationOptions>(redisConfigurationOptions =>
{
    redisConfigurationOptions.Servers = new List<RedisServerOptions>()
    {
        new("localhost", 6379)
    };
    redisConfigurationOptions.DefaultDatabase = 3;
    redisConfigurationOptions.ConnectionPoolSize = 10;
    redisConfigurationOptions.GlobalCacheOptions = new CacheOptions()
    {
        CacheKeyType = CacheKeyType.None
    };
});

注册分布式Redis缓存

builder.Services.AddDistributedCache(distributedCacheOptions =>
{
    distributedCacheOptions.UseStackExchangeRedisCache();
});

方案四. 通过指定Configuration注册

在Redis缓存的配置存储到本地appsettings.json文件

{
    "RedisConfig":{
        "Servers":[
            {
                "Host": "localhost",
                "Port": 6379
            }
        ],
        "DefaultDatabase": 3,
        "ConnectionPoolSize": 10
    }
}

指定Configuration注册分布式Redis缓存

var builder = WebApplication.CreateBuilder(args);

//注册分布式缓存
builder.Services.AddDistributedCache(distributedCacheOptions =>
{
    // 使用存储Redis配置的Configuration
    distributedCacheOptions.UseStackExchangeRedisCache(builder.Configuration.GetSection("RedisConfig"));
});

方案五. 将配置存储到Dcc上，并通过Configuration提供的手动映射功能，实现选项模式

使用Dcc，并手动指定映射

builder.AddMasaConfiguration(configurationBuilder =>
{
    configurationBuilder.UseDcc();//使用Dcc 扩展Configuration能力，支持远程配置

    configurationBuilder.UseMasaOptions(options =>
    {
        //通过手动映射RedisConfigurationOptions的配置，实现选项模式
        options.MappingConfigurationApi<RedisConfigurationOptions>("{替换为Dcc中配置所属的AppId}", "{替换为Redis配置的对象名称}");
    });
});

注册分布式Redis缓存

builder.Services.AddDistributedCache(distributedCacheOptions =>
{
    distributedCacheOptions.UseStackExchangeRedisCache();
});

方案三、四、五的本质都是通过支持选项模式来注册分布式Redis缓存

修改缓存Key映射规则

修改缓存Key映射规则十分简单，我们在配置时更改CacheKeyType为对应的规则即可，但当 CacheKeyType = 3 需要注意，它需要额外提供类型名与别名的对应关系，完整例子如下：

修改appsettings.json, 将CacheKeyType的值改为 3

{
    "RedisConfig":{
        "Servers":[
            {
                "Host":"localhost",
                "Port":6379
            }
        ],
        "DefaultDatabase":3,
        "ConnectionPoolSize":10,
        "GlobalCacheOptions": {
          "CacheKeyType": 3 //CacheKeyType为3时启用别名格式化缓存Key，可节省缓存Key的键长度
        }
    }
}

注册分布式缓存并配置类型名与别名的对应关系

builder.Services.AddDistributedCache(distributedCacheOptions =>
{
    distributedCacheOptions.UseStackExchangeRedisCache();
}, typeAliasOptions =>
{
    typeAliasOptions.GetAllTypeAliasFunc = () => new Dictionary<string, string>()
    {
        { "String", "s" }//当类型为String时，格式化后的Key为 s:key
    };
});

通过指定类型与别名的对应关系，从而使得最终形成较短的缓存Key，以达到节省存储空间的目的，缓存Key生成规则可查看

多级缓存示例

多级缓存注册

方案一. 通过本地配置文件注册

修改appsettings.json文件，分别配置多级缓存配置以及Redis缓存配置

{
  // 多级缓存全局配置，非必填
  "MultilevelCache": {
    "SubscribeKeyPrefix": "masa",//默认订阅方key前缀，用于拼接channel
    "SubscribeKeyType": 3, //默认订阅方key的类型，默认ValueTypeFullNameAndKey，用于拼接channel
    "CacheEntryOptions": {
      "AbsoluteExpirationRelativeToNow": "00:00:30",//绝对过期时长（距当前时间）
      "SlidingExpiration": "00:00:50"//滑动过期时长（距当前时间）
    }
  },

  // Redis分布式缓存配置
  "RedisConfig": {
    "Servers": [
      {
        "Host": "localhost",
        "Port": 6379
      }
    ],
    "DefaultDatabase": 3
  }
}

添加多级缓存并使用分布式Redis缓存

builder.Services.AddMultilevelCache(distributedCacheOptions =>
{
    distributedCacheOptions.UseStackExchangeRedisCache();
});

方案二. 通过手动指定配置

builder.Services.AddMultilevelCache(distributedCacheOptions =>
{
    distributedCacheOptions.UseStackExchangeRedisCache(RedisConfigurationOptions);
});

未配置内存缓存时，默认内存缓存永久有效

除了上述两种方式以外，多级缓存的内存缓存配置也同样支持选项模式，我们可以通过Dcc或者利用 builder.Services.Configure<MultilevelCacheOptions>(builder.Configuration)来支持选项模式

修改缓存Key映射规则

源码解读

IDistributedCacheClient (分布式缓存客户端)

IDistributedCacheClient接口提供以下方法来处理分布式缓存

以下方法会根据全局缓存Key的规则配置以及传入缓存Key的规则配置，检测是否需要格式化缓存Key，对需要格式化Key的操作按照缓存Key格式化规则进行处理，详细查看:

Get<T>、GetAsync<T>: 根据缓存Key返回类型为T的结果 (如果缓存不存在，则返回Null)
GetList<T>、GetListAsync<T>: 根据缓存Key集合返回对应的缓存值的集合 (针对不存在的缓存key，其值返回Null)
GetOrSet<T>、GetOrSetAsync<T>: 如果在缓存中找到，则返回类型为T的结果，如果缓存未找到，则执行Setter，并返回Setter的结果
Set<T>、SetAsync<T>: 将指定的缓存Key以及缓存值添加到缓存
SetList<T>、SetListAsync<T>: 将指定的缓存Key、Value集合添加缓存
Remove<T>、RemoveAsync<T>: 将指定的缓存Key (缓存Key集合) 从缓存中移除
Refresh<T>、RefreshAsync<T>: 刷新指定的缓存Key (缓存Key集合) 的生命周期
- 适用于未被删除、绝对过期时间没有到，但相对过期时间快到的缓存 (延长滑动过期时间)
Exists<T>、ExistsAsync<T>: 如果在缓存中找到，则返回true，否则返回false
GetKeys<T>、GetKeysAsync<T>: 根据key pattern 得到符合规则的所有缓存Key
GetByKeyPattern<T>、GetByKeyPatternAsync<T>: 根据key pattern 得到符合规则的所有缓存Key、Value集合
HashIncrementAsync: 将指定的缓存Key的值增加Value，并返回增长后的结果
HashDecrementAsync: 将指定的缓存Key的值减少Value，并返回减少后的结果
- 支持设置最小的Value，避免减少后的值低于设置的最小值，执行失败则返回: -1
KeyExpire<T>、KeyExpireAsync<T>: 设置缓存Key的生命周期

以下方法不执行缓存Key格式化, 应传入缓存完整Key:

Remove、RemoveAsync: 将指定的缓存Key (缓存Key集合) 从缓存中移除
Refresh、RefreshAsync: 刷新指定的缓存Key (缓存Key集合) 的生命周期
- 适用于未被删除、绝对过期时间没有到，但相对过期时间快到的缓存
Exists、ExistsAsync: 如果在缓存中找到，则返回true，否则返回false
GetKeys、GetKeysAsync: 根据key pattern 得到符合规则的所有缓存Key
- 例: 传入User*，可得到缓存中以User开头的所有缓存Key
KeyExpire、KeyExpireAsync: 设置缓存Key的生命周期

IMultilevelCacheClient (多级缓存客户端)

Get<T>、GetAsync<T>: 根据缓存Key返回类型为T的结果 (如果缓存不存在，则返回Null) (支持监控缓存变更)
GetList<T>、GetListAsync<T>: 根据缓存Key集合返回对应的缓存值的集合 (针对不存在的缓存key，其值返回Null)
GetOrSet<T>、GetOrSetAsync<T>: 如果在缓存中找到，则返回类型为T的结果，如果缓存未找到，则执行Setter，并返回Setter的结果
Set<T>、SetAsync<T>: 将指定的缓存Key以及缓存值添加到缓存
SetList<T>、SetListAsync<T>: 将指定的缓存Key、Value集合添加缓存
Remove<T>、RemoveAsync<T>: 将指定的缓存Key (缓存Key集合) 从缓存中移除
Refresh<T>、RefreshAsync<T>: 刷新指定的缓存Key (缓存Key集合) 的生命周期
- 适用于未被删除、绝对过期时间没有到，但相对过期时间快到的缓存 (延长滑动过期时间)

IDistributedCacheClientFactory (分布式缓存工厂)

Create: 返回指定Name的分布式缓存客户端

IMultilevelCacheClientFactory (多级缓存工厂)

Create: 返回指定Name的多级缓存客户端

如果Name为空字符串时，可直接使用IDistributedCacheClient或IMultilevelCacheClient, 默认注册不指定Name时，则其Name为空字符串，可不通过Factory创建

总结

Masa Framework提供了分布式缓存以及多级缓存的实现，其中有几个优秀的功能：

多级缓存提供了缓存更新后同步更新内存缓存功能
- 当我们的服务是多副本时，不必担心会缓存更新后其它副本由于内存缓存未过期，导致获取到过期的缓存数据，大大提升我们的用户体验
支持滑动过期以及绝对过期混合使用
- 避免无用的缓存长时间被持久化，但对于热点数据又可以避免打到Redis或者数据库
配置支持热更新，配置更新后同步生效，无需重启项目
缓存Key支持格式化，可根据当前缓存值类型与传入缓存Key结合形成新的缓存Key，提高了开发效率以及代码可读性
- 比如获取用户id为1的数据，可通过Client.Get<User>("1")，而无需：Client.Get<User>("User.1")

本章源码

Assignment16

https://github.com/zhenlei520/MasaFramework.Practice

开源地址

MASA.Framework：https://github.com/masastack/MASA.Framework

如果你对我们的 MASA Framework 感兴趣，无论是代码贡献、使用、提 Issue，欢迎联系我们

WeChat：MasaStackTechOps
QQ：7424099

posted @ 2022-10-24 11:49 MASA技术团队阅读(154) 评论(0) 编辑收藏举报

刷新页面返回顶部

MASA技术团队

MASA Framework 缓存入门与设计

概念

功能

入门

分布式缓存

多级缓存

测试

规则

缓存Key的生成规则

存储结构与规则

内容压缩规则

分布式Redis缓存示例

分布式缓存注册

修改缓存Key映射规则

多级缓存示例

多级缓存注册

修改缓存Key映射规则

源码解读

IDistributedCacheClient (分布式缓存客户端)

IMultilevelCacheClient (多级缓存客户端)

IDistributedCacheClientFactory (分布式缓存工厂)

IMultilevelCacheClientFactory (多级缓存工厂)

总结

本章源码

开源地址

公告