千万级、百万级数据删除优化

场景:
在mysql上面删除大量数据(千万级),由于不是清空数据,故不能使用TRUNCATE 语句(有个TRUNCATE可参考:MySQL DELETE语句与TRUNCATE TABLE语句)

问题:
在正常DELETE下,删除十分缓慢;
由于索引的原因,每次删除都要相应的更新索引,越往后索引碎片越多,即越往后越慢
解决方案:
完整备份;

备份表方法:此方法索引和increment值也会同步

                 CREATE TABLE tb_cab_bak LIKE tb_cab;

                 INSERT INTO tb_cab_bak SELECT * FROM tb_cab;



如果只复制表中的部分内容的同时定义表中的字段信息:
CREATE TABLE tb_cab_bak  
(
-- 对copy的表中的ID进行主键约束
ID INTEGER NOT NULL AUTO_INCREMENT PRIMARY KEY
)
AS (
SELECT ID,SNAME,SCORE FROM tb_cab_bak 
);

 

保存索引DDL,删除索引,删除速率与索引量成正比;
关闭日志记录;
删除后重建索引
TIP:
如果需要保留的数据比较少的话,可以把要保留的数据备份出来。DROP原表,重新创建,先不要急着创建索引、主键,把数据导回去,然后在建索引、约束之类的。
————————————————
版权声明:本文为CSDN博主「Mask_NoTS」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/u010993471/article/details/84351500

posted on 2019-11-25 17:01  木西-Muxy  阅读(1163)  评论(0编辑  收藏  举报

导航