一佳一

记录像1+1一样简洁的代码
随笔 - 396, 文章 - 0, 评论 - 95, 阅读 - 107万

导航

< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

大批量delete 优化方案

Posted on   一佳一  阅读(2900)  评论(0编辑  收藏  举报

超过100万以上数据 删除的时候 会非常慢且产生大量日志文件 最大的问题是内存爆表 导致得多次重启服务才能删除整个库 暂时提出初步优化方案

1.设置日志为简单模式,处理完后恢复

ALTER DATABASE tcgpsdb SET RECOVERY SIMPLE --简单模式
ALTER DATABASE tcgpsdb SET RECOVERY FULL --还原为完全模式

2.delete的时候 会造成整表锁定,所以采用分批删除

@onecount 这里设置为一百万一次,可以自由调节

复制代码
declare @onecount int
set @onecount=1000000
print getdate()
while 1=1
begin
     delete top(@onecount) from XX where FSendTime<'2019-1-01'
     IF (@@rowcount<@onecount) BREAK;
     print getdate()
end
复制代码

删除一千多万条数据耗时 注意:搜索时间字段有加索引

复制代码
02  1 2019 11:25AM

(1000000 行受影响)
02  1 2019 11:26AM

(1000000 行受影响)
02  1 2019 11:27AM

(1000000 行受影响)
02  1 2019 11:27AM

(1000000 行受影响)
02  1 2019 11:28AM

(1000000 行受影响)
02  1 2019 11:28AM

(1000000 行受影响)
02  1 2019 11:29AM

(1000000 行受影响)
02  1 2019 11:29AM

(1000000 行受影响)
02  1 2019 11:30AM

(1000000 行受影响)
02  1 2019 11:31AM

(1000000 行受影响)
02  1 2019 11:31AM

(636657 行受影响)
复制代码

 

另外还有 插入到新表然后 drop 老表 把新表改为原来表名 这种涉及停机 所以暂不考虑

以上方案还是不够理想,这里抛砖迎玉 希望有更好的同学能给出 更快速 更省内存的解决方案

 

编辑推荐:
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
· SQL Server 2025 AI相关能力初探
· Linux系列:如何用 C#调用 C方法造成内存泄露
· AI与.NET技术实操系列(二):开始使用ML.NET
阅读排行:
· 无需6万激活码!GitHub神秘组织3小时极速复刻Manus,手把手教你使用OpenManus搭建本
· C#/.NET/.NET Core优秀项目和框架2025年2月简报
· Manus爆火,是硬核还是营销?
· 终于写完轮子一部分:tcp代理 了,记录一下
· 【杭电多校比赛记录】2025“钉耙编程”中国大学生算法设计春季联赛(1)
点击右上角即可分享
微信分享提示