.NET ORM 分表分库【到底】怎么做？

理论知识

分表 - 从表面意思上看呢，就是把一张表分成N多个小表，每一个小表都是完正的一张表。分表后数据都是存放在分表里，总表只是一个外壳，存取数据发生在一个一个的分表里面。分表后单表的并发能力提高了，磁盘I/O性能也提高了。并发能力为什么提高了呢，因为查寻一次所花的时间变短了，如果出现高并发的话，总表可以根据不同的查询，将并发压力分到不同的小表里面。

分库 - 把原本存储于一个库的数据分块存储到多个库上，把原本存储于一个表的数据分块存储到多个表上。数据库中的数据量不一定是可控的，在未进行分表分库的情况下，随着时间和业务的发展，库中的表会越来越多，表中的数据量也会越来越大，相应地，数据操作，增删改查的开销也会越来越大；另外，一台服务器的资源（CPU、磁盘、内存、IO等）是有限的，最终数据库所能承载的数据量、数据处理能力都将遭遇瓶颈。

情怀满满

分表、分库在 .NET 下可谓是老大难题，简单点可以使用类似 mycat 中间件，但是就 .NET 平台的自身生态，很缺乏类似 sharding-jdbc 这样强大的轮子。

本人就自身有限的技术水平和经验，对分表、分库进行分析，实现出自成一套的使用方法，虽然不极 sharding-jdbc 强大，但是还算比较通用、简单。但愿有朝一日出现一批真正 .NET 大神，造出伟大的开源项目，实现你我心中的抱负。

这套分表、分库方法是建立在 .NET ORM FreeSql 之上做的，内容可能比较抽象，敬请谅解！后续会详解各种租户设计方案，除了按字段区分租户，还包括分库、分表的方案，敬请关注！

入戏准备

FreeSql 是 .Net ORM，能支持 .NetFramework4.0+、.NetCore、Xamarin、XAUI、Blazor、以及还有说不出来的运行平台，因为代码绿色无依赖，支持新平台非常简单。目前单元测试数量：5000+，Nuget下载数量：180K+，源码几乎每天都有提交。值得高兴的是 FreeSql 加入了 ncc 开源社区：https://github.com/dotnetcore/FreeSql，加入组织之后社区责任感更大，需要更努力做好品质，为开源社区出一份力。

QQ群：4336577(已满)、8578575(在线)、52508226(在线)

为什么要重复造轮子？

FreeSql 主要优势在于易用性上，基本是开箱即用，在不同数据库之间切换兼容性比较好。作者花了大量的时间精力在这个项目，肯请您花半小时了解下项目，谢谢。功能特性如下：

支持 CodeFirst 对比结构变化迁移；
支持 DbFirst 从数据库导入实体类；
支持丰富的表达式函数，自定义解析；
支持批量添加、批量更新、BulkCopy；
支持导航属性，贪婪加载、延时加载、级联保存；
支持读写分离、分表分库，租户设计；
支持 MySql/SqlServer/PostgreSQL/Oracle/Sqlite/达梦/神通/人大金仓/翰高/MsAccess；

FreeSql 使用非常简单，【单机数据库】只需要定义一个 IFreeSql 对象即可：

static IFreeSql fsql = new FreeSql.FreeSqlBuilder()
    .UseConnectionString(FreeSql.DataType.MySql, connectionString)
    .UseAutoSyncStructure(true) //自动同步实体结构到数据库
    .Build(); //请务必定义成 Singleton 单例模式

分表

既然是分表，那就大胆认为他是操作【单机数据库】，只需要对实体类进行动态映射表名即可实现，FreeSql 原生用法、FreeSql.Repository 仓储用法都提供了 AsTable 方法对分表进行 CRUD 操作，例如：

var repo = fsql.GetRepository<Log>();
repo.AsTable(oldname => $"{oldname}_201903");
//对 Log_201903 表 CRUD

repo.Insert(new Log { ... });
repo.Update(...);
repo.Delete(...);
repo.Select...;

AsTable 动态设置实体映射的表名，达到对分表的操作目的。除了 CRUD 操作，还提供了创建分表的功能：

如果开启了自动同步结构功能 UseAutoSyncStructure(true)，则 AsTable 会自动创建对应分表；
可以使用 fsql.CodeFirst.SyncStructure(typeof(实体类), "分表名") 进行手工建表；

多数情况，我们都建议提前创建好分表，如果按月分表，手工创建一年的分表。

目前这种算是比较简单入门的方案，远不及 mycat、sharding-jdbc 那么智能，比如：

不能利用分表字段自动进行分表映射；
不能在查询时根据 where 条件自动映射分表，甚至跨多个分表的联合查询；

分库（单机）

分库，但是在同一个数据库服务器实例下。这种情况也可以使用 AsTable 方式进行操作，如下：

var repo = fsql.GetRepository<Log>();
repo.AsTable(oldname => $"{201903}.dbo.{oldname}");
//对 [201903].dbo.Log CRUD

分库之后，老大难题是事务，如果使用 SqlServer 可以利用 TransactionScope 做简单的跨库事务，如下：

var repoLog = fsql.GetRepository<Log>();
var repoComment = fsql.GetRepository<Comment>();
repoLog.AsTable(oldname => $"{201903}.dbo.{oldname}");
repoComment.AsTable(oldname => $"{201903}.dbo.{oldname}");

using (TransactionScope ts = new TransactionScope())
{
    repoComment.Insert(new Comment { ... });
    repoLog.Insert(new Log { ... });
    ts.Complete();
}

分库（跨服务器）

前面提到：【单机数据库】只需要定义一个 IFreeSql 对象即可。那分库是不是要定义很多个 IFreeSql 对象？答案是的。

一般思路可以定义 static ConcurrentDictionary<string, IFreeSql> 存储所有 IFreeSql 对象（key = ConnectionString），当进行 CRUD 时获取到对应的 IFreeSql 即可。由于 IFreeSql 是静态单例设计长驻内存，分库数量太多的时候会浪费资源，因为不是所有分库都一直一直在访问。例如租户分库 10000 个，定义 10000 个 static IFreeSql？

更好的办法可以使用 IdleBus 空闲对象管理容器，有效组织对象重复利用，自动创建、销毁，解决【实例】过多且长时间占用的问题。有时候想做一个单例对象重复使用提升性能，但是定义多了，有的又可能一直空闲着占用资源。专门解决：又想重复利用，又想少占资源的场景。https://github.com/2881099/IdleBus

dotnet add package IdleBus

static IdleBus<IFreeSql> ib = new IdleBus<IFreeSql>(TimeSpan.FromMinutes(10));

ib.Register("db1", () => new FreeSqlBuilder().UseConnectionString(DataType.MySql, "str1").Build());
ib.Register("db2", () => new FreeSqlBuilder().UseConnectionString(DataType.MySql, "str2").Build());
ib.Register("db3", () => new FreeSqlBuilder().UseConnectionString(DataType.SqlServer, "str3").Build());
//...注册很多个

ib.Get("db1").Select<T>().Limit(10).ToList();

IdleBus 也是【单例】设计！主要的两个方法，注册，获取。idlebus 注册不是创建 IFreeSql，首次 Get 时才创建，后面会一直用已经创建的。还有一个超时机制，如果 10 分钟该 IFreeSql 未使用会被 Dispose，然后下一次又会创建新的 IFreeSql，如此反复。从而解决了 10000 个 IFreeSql 长驻内存的问题。

还利用 AsyncLocal 特性扩展使用起来更加方便：

public static class IdleBusExtesions
{
    static AsyncLocal<string> asyncDb = new AsyncLocal<string>();
    public static IdleBus<IFreeSql> ChangeDatabase(this IdleBus<IFreeSql> ib, string db)
    {
        asyncDb.Value = db;
        return ib;
    }
    public static IFreeSql Get(this IdleBus<IFreeSql> ib) => ib.Get(asyncDb.Value ?? "db1");
    public static IBaseRepository<T> GetRepository<T>(this IdleBus<IFreeSql> ib) where T : class 
        => ib.Get().GetRepository<T>();
}

使用 ChangeDatabase 切换 db；
使用 Get() 获取当前 IFreeSql，省略每次都传递 db 参数；
使用 GetRepository 获取当前 IFreeSql 对应的仓储类；

注意：使用 IdleBus 需要弱化 IFreeSql 的存在，每次都使用 ib.Get 获取 IFreeSql 对象；

IdleBus<IFreeSql> ib = ...; //单例注入

var fsql = ib.Get(); //获取当前租户对应的 IFreeSql

var fsql00102 = ib.ChangeDatabase("db2").Get(); //切换租户，后面的操作都是针对 db2

var songRepository = ib.GetRepository<Song>();
var detailRepository = ib.GetRepository<Detail>();

目前这种算是比较简单入门的方案，远不及 mycat、sharding-jdbc 那么智能，比如：没有实现跨库事务。

写在最后

.NET 生态还处于较弱的状态，呼吁大家支持、踊跃参与开源项目，为下一个 .NET 开源社区五年计划做贡献。

希望正在使用的、善良的您能动一动小手指，把文章转发一下，让更多人知道 .NET 有这样一个好用的 ORM 存在。谢谢了！！

FreeSql 开源协议 MIT https://github.com/dotnetcore/FreeSql，可以商用，文档齐全。QQ群：4336577(已满)、8578575(在线)、52508226(在线)

如果你有好的 ORM 实现想法，欢迎给作者留言讨论，谢谢观看！

posted @ 2020-08-30 01:18 nicye 阅读(5340) 评论(12) 编辑收藏举报

刷新页面返回顶部

FreeSql & CSRedis

为 .NET 开源事业添砖加瓦，https://github.com/2881099