.Net Core Configuration Etcd数据源
前言
.Net Core为我们提供了一套强大的Configuration配置系统，使用简单扩展性强。通过这套配置系统我们可以将Json、Xml、Ini等数据源加载到程序中,也可以自己扩展其他形式的存储源。今天我们要做的就是通过自定义的方式为其扩展Etcd数据源操作。
何为Etcd
在使用etcd之前我们先介绍一下Etcd，我相信很多同学都早有耳闻。Etcd是一款高可用、强一致的分布式KV存储系统，它内部采用raft协议作为一致性算法，本身也是基于GO语言开发的，最新版本为v3.4.9，具体版本下载地址可参阅官方GitHub地址。相信了解过K8S的同学对这个肯定不陌生，它是K8S的数据管理系统。官方地址为https://etcd.io/。
在此之前，我相信大家已经了解过很多存储系统了,Etcd到底能实现了什么功能呢？其一用于配置中心和服务发现，再者也可以实现分布式锁和消息系统。它本身就是基于目录型存储,并且内部有一套强大的Watch机制可以监听针对节点和数据的操作变化，每次对节点的事务操作都会有对于的版本信息。
Etcd VS Zookeeper
通过上面的介绍是不是感觉和Zookeeper有点类似呢😂😂😂，网上有很多很多关于Etcd和Zookeeper的对比文章,大致如下可以得到以下结论
| 功能 | Etcd | Zookeeper |
|---|---|---|
| 分布式锁 | 有(采用节点版本号信息) | 有(采用临时节点和顺序临时节点) |
| watcher | 有 | 有 |
| 一致性算法 | raft | zab |
| 选举 | 有 | 有 |
| 元数据(metadata)存储 | 有 | 有 |
| 应用场景 | Etcd | Zookeeper |
|---|---|---|
| 发布与订阅（配置中心） | 有(不限次Watch) | 有(一次性触发的,需要重新注册Watch) |
| 软负载均衡 | 有 | 有 |
| 命名服务(Naming Service) | 有 | 有 |
| 服务发现 | 有(基于租约节点) | 有(基于临时节点) |
| 分布式通知/协调 | 有 | 有 |
| 集群管理与Master选举 | 有 | 有 |
| 分布式锁 | 有 | 有 |
| 分布式队列 | 有 | 有 |
- 更轻量级(Etcd基于GO语言开发,Zookeeper基于Java开发)、更易用(开箱即用)
- 高负载下的稳定读写
- 数据模型的多版本并发控制
- 稳定的watcher功能，通知订阅者监听值的变化(Zookeeper基于数据的监听是一次性的，每次监听完成还需重新注册)
- 客户端协议使用GRPC协议，支持语言更广泛
在.Net Core中使用Etcd
在Nuget上可以搜索到很多.Net Core的Etcd客户端驱动程序，我使用了下载量最多的一个名字叫dotnet-etcd的驱动包，顺便找到了它在GayHub上,不好意思手滑打错了😱😱😱GitHub上的项目地址，大概学习了一下基本的使用方式。其实我们结合Configuration配置这一块，只需要两个功能。一个是Get获取数据，另一个是Watch节点变化(更新数据会用到)。个人认为,前期有目有边界的学习还是非常重要的。
Configuration扩展Etcd
前面我们讲到过自定义扩展Configuration是非常方便的，相信了解过Configuration相关源码的小伙伴们已经非常熟悉了，大致总结一下分为三步:
- 编写IConfigurationBuilder扩展方法,我们这里叫AddEtcd
- 编写实现IConfigurationSource的配置源信息类，我们这里叫EtcdConfigurationSource
- 编写继承自ConfigurationProvider的ConfigurationSource的配置数据提供类，我们这里叫EtcdConfigurationProvider
首先是定义扩展类EtcdConfigurationExtensions，这个类是针对IConfigurationBuilder的扩展方法，实现如下
public static class EtcdConfigurationExtensions
{
/// <summary>
/// AddEtcd扩展方法
/// </summary>
/// <param name="serverAddress">Etcd地址</param>
/// <param name="path">读取路径</param>
/// <returns></returns>
public static IConfigurationBuilder AddEtcd(this IConfigurationBuilder builder, string serverAddress,string path)
{
return AddEtcd(builder, serverAddress:serverAddress, path: path,reloadOnChange: false);
}
/// <summary>
/// AddEtcd扩展方法
/// </summary>
/// <param name="serverAddress">Etcd地址</param>
/// <param name="path">读取路径</param>
/// <param name="reloadOnChange">如果数据发送改变是否刷新</param>
/// <returns></returns>
public static IConfigurationBuilder AddEtcd(this IConfigurationBuilder builder, string serverAddress, string path, bool reloadOnChange)
{
return AddEtcd(builder,options => {
options.Address = serverAddress;
options.Path = path;
options.ReloadOnChange = reloadOnChange;
});
}
public static IConfigurationBuilder AddEtcd(this IConfigurationBuilder builder, Action<EtcdOptions> options)
{
EtcdOptions etcdOptions = new EtcdOptions();
options.Invoke(etcdOptions);
return builder.Add(new EtcdConfigurationSource { EtcdOptions = etcdOptions });
}
}
这里我还定义了一个EtcdOptions的POCO,用于承载读取Etcd的配置属性
public class EtcdOptions
{
/// <summary>
/// Etcd地址
/// </summary>
public string Address { get; set; }
/// <summary>
/// Etcd访问用户名
/// </summary>
public string UserName { get; set; }
/// <summary>
/// Etcd访问密码
/// </summary>
public string PassWord { get; set; }
/// <summary>
/// Etcd读取路径
/// </summary>
public string Path { get; set; }
/// <summary>
/// 数据变更是否刷新读取
/// </summary>
public bool ReloadOnChange { get; set; }
}
接下来我们定义EtcdConfigurationSource，这个类非常简单就是返回一个配置提供对象
public class EtcdConfigurationSource : IConfigurationSource
{
public EtcdOptions EtcdOptions { get; set; }
public IConfigurationProvider Build(IConfigurationBuilder builder)
{
return new EtcdConfigurationProvider(EtcdOptions);
}
}
真正的读取操作都在EtcdConfigurationProvider里
public class EtcdConfigurationProvider : ConfigurationProvider
{
private readonly string _path;
private readonly bool _reloadOnChange;
private readonly EtcdClient _etcdClient;
public EtcdConfigurationProvider(EtcdOptions options)
{
//实例化EtcdClient
_etcdClient = new EtcdClient(options.Address,username: options.UserName,password: options.PassWord);
_path = options.Path;
_reloadOnChange = options.ReloadOnChange;
}
/// <summary>
/// 重写加载方法
/// </summary>
public override void Load()
{
//读取数据
LoadData();
//数据发生变化是否重新加载
if (_reloadOnChange)
{
ReloadData();
}
}
private void LoadData()
{
//读取Etcd里的数据
string result = _etcdClient.GetValAsync(_path).GetAwaiter().GetResult();
if (string.IsNullOrEmpty(result))
{
return;
}
//转换一下数据结构，这里我使用的是json格式
//读取的数据只要赋值到Data属性上即可,IConfiguration真正读取的数据就是存储到Data的字典数据
Data = ConvertData(result);
}
private IDictionary<string,string> ConvertData(string result)
{
byte[] array = Encoding.UTF8.GetBytes(result);
MemoryStream stream = new MemoryStream(array);
//JsonConfigurationFileParser是将json数据转换为Configuration可读取的结构(复制JsonConfiguration类库里的😄😄😄)
return JsonConfigurationFileParser.Parse(stream);
}
private void ReloadData()
{
WatchRequest request = new WatchRequest()
{
CreateRequest = new WatchCreateRequest()
{
//需要转换一个格式,因为etcd v3版本的接口都包含在grpc的定义中
Key = ByteString.CopyFromUtf8(_path)
}
};
//监听Etcd节点变化,获取变更数据，更新配置
_etcdClient.Watch(request, rsp =>
{
if (rsp.Events.Any())
{
var @event = rsp.Events[0];
//需要转换一个格式,因为etcd v3版本的接口都包含在grpc的定义中
Data = ConvertData(@event.Kv.Value.ToStringUtf8());
//需要调用ConfigurationProvider的OnReload方法触发ConfigurationReloadToken通知
//这样才能对使用Configuration的类发送数据变更通知
//比如IOptionsMonitor就是通过ConfigurationReloadToken通知变更数据的
OnReload();
}
});
}
}
使用方式如下
builder.AddEtcd("http://127.0.0.1:2379", "service/mydemo", true);
顺便给大家推荐一个Etcd可视化管理工具ETCD Manager，以便更好的学习Etcd。
到这里，基本上就结束了，是不是非常简单。主要还是Configuration本身的设计思路比较清晰，所以实现起来也不费劲。
总结
以上代码都已经上传了我的GitHub，该仓库还扩展了其他数据源的读取比如Consul、Properties文件、Yaml文件的读取，实现思路也都大致相似,有兴趣的同学可以自行查阅。由于主要是讲解实现思路,可能许多细节并未做处理还望见谅。如果有疑问或者更好的建议，欢迎评论区交流指导。
