使用【数据牛刀】轻松驾驭日增长100万级的大流水数据表

【数据牛刀】是本人贡献的一款提供大数据表自动分割、归档和清理过期数据的服务。它使用C# /.NET CORE实现，当前支持Mysql数据源以及在docker容器中运行。

项目地址：https://github.com/mfjiang/DataNiuKnife

 

核心功能：

1、通过简单的配置，可管理任意多个数据库节点上的大数据表的定期数据分割、归档和清理。

2、每日执行数据复制。

3、按指定天数移除过期数据。

4、按月归档数据。

 

希望使用此服务的大数据表，有如下要求：

1. 数据表存在自增长ID；
2. 数据表存在时间列，数据以时间顺序增长；
3. 数据表不存在外键约束；
4. 提供一个拥有读取数据表元数据和建表权限的数据库账号；

配置示例：

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

{ "AppSettings": {     "LogManPath": "/app/LogMan/"       }, "MySqlClusterSettings": {     "Nodes": [         {               {             "MysqlNode": {                 "ID":1,                 "IsSlave": false,                 "DataBasesName": "data_sharding_a",                 "ConnStr": "server=192.168.3.250;database=data_sharding_a;user=app_user;password=your pwd;charset=utf8;",                 "DevideFromNodeID": 0,                 "DevideDataSet": "table 1:hash key,table 2:hash key,table n:hash key",                 "AutoMoveDataSet": "table_name=data_shard,key_name=id,date_field=created,data_hold_days=180,archive_node_id=2,schedule_time=23:00:00;"             }         },         {             "MysqlNode": {                 "ID": 2,                 "IsSlave": false,                 "DataBasesName": "data_sharding_b",                 "ConnStr": "server=192.168.3.250;database=data_sharding_b;user=app_user;password=your pwd;charset=utf8;",                 "DevideFromNodeID": 0,                 "DevideDataSet": "",                 "AutoMoveDataSet": ""             }         }     ] }, "AllowedHosts": "*" }

理解这一段配置：

?

1	"AutoMoveDataSet": "table_name=data_shard,key_name=id,date_field=created,data_hold_days=180,archive_node_id=2,schedule_time=23:00:00;"

table_name: 要列入自动管理的数据表名。

key_name: 主键名。 

date_field: 时间列名。 

data_hod_days: 数据保留期的天数。 

archive_node_id: 本配置中作为归档库的数据库节点ID。 

schedule_time: 每日运行的计划时间。

 

如果一个DB节点有多个数据表要配置，只需用;号拼接配置行即可。

 

本服务可以在docker容器中运行：

?

1 2	docker build -f Dockfile -t data_niu_knife:demo . docker run --name data_niu_knife_hosted --mount type=bind,source=/home/docker_data/DataNiuKnife/LogMan/,target=/app/LogMan/ -d data_niu_knife:demo .

 

正常运行后，可以看到类似如下日志：

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

[root@localhost ~]# cat /home/docker_data/DataNiuKnife/LogMan/MysqlDataWorker-2019-07-29-pid1.log ====== DataNiuKnife.MysqlDataWorker Info 07/29/2019 11:00:00 ====== MysqlDataWorker已在服务环境启动，源表名:data_shard ====== DataNiuKnife.MysqlDataWorker Info 07/29/2019 11:00:00 ====== 开始自动创建分表，表名:data_shard_spt_201907 ====== DataNiuKnife.MysqlDataWorker Info 07/29/2019 11:00:00 ====== 开始创建分表: CREATE TABLE IF NOT EXISTS `data_shard_spt_201907`   (   `id` bigint(10) unsigned NOT NULL AUTO_INCREMENT,   `value` varchar(255) DEFAULT NULL,   `created` datetime NOT NULL,   PRIMARY KEY (`id`) ) ENGINE=InnoDB AUTO_INCREMENT=51 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci ====== DataNiuKnife.MysqlDataWorker Info 07/29/2019 11:00:01 ====== 成功创建分表:data_shard_spt_201907 ====== DataNiuKnife.MysqlDataWorker Info 07/29/2019 11:00:01 ====== 成功自动创建分表，表名:data_shard_spt_201907 ====== DataNiuKnife.MysqlDataWorker Info 07/29/2019 11:00:01 ====== 开始自动复制数据，源表名:data_shard,分表名:data_shard_spt_201907 ====== DataNiuKnife.MysqlDataWorker Info 07/29/2019 11:00:02 ====== 自动复制了50笔数据，源表名:data_shard,分表名:data_shard_spt_201907