Mysql大概1700W大表删除1000W左右数据，发现数据大小和索引大小并没有减少思考

MySQL删除操作其实是假删除

 

因为近期在重构优化一个业务的时候 发现有一张表(send_log)数据量将近1700W 左右  占用数据大小17G，索引18G左右  而我们的核心应用在使用的时候 会去临时查询这张表 获取一些数据 先不管设计的合不合理吧，因为是维护  不出问题为第一要务 所以想到要物理删除一下表数据  计划把18年1000W左右数据给腾出空间  但运维执行删除操作后  发现情况没有那么理想  行数是少了  但表空间 大小 没降下去

在 InnoDB 中，你的 delete 操作，并不会真的把数据删除，mysql 实际上只是给删除的数据打了个标记，标记为删除，因此你使用 delete 删除表中的数据，表文件在磁盘上所占空间不会变小，我们这里暂且称之为假删除。

 

Rows原来是1700W  已经delete删除了1000W左右  但dataLength indexLength都没变。。。

 

 

在 InnoDB 中，你的 delete 操作，并不会真的把数据删除，mysql 实际上只是给删除的数据打了个标记，标记为删除，因此你使用 delete 删除表中的数据，表文件在磁盘上所占空间不会变小，我们这里暂且称之为假删除。

上面这个是结论，我们可以通过一个例子来验证下。

沿用前面文章中的例子吧，先创建一个存储过程，插入 10w 条数据，然后看下这 10w 条数据占了多大的空间。

  1. CREATE TABLE `t` ( 
  2.   `id` int(11) NOT NULL, 
  3.   `a` int(11) DEFAULT NULL, 
  4.   `b` int(11) DEFAULT NULL, 
  5.   PRIMARY KEY (`id`), 
  6.   KEY `a` (`a`), 
  7.   KEY `b` (`b`) 
  8. ) ENGINE=InnoDB;  
  1. #定义分割符号，mysql 默认分割符为分号;，这里定义为 // 
  2. #分隔符的作用主要是告诉mysql遇到下一个 // 符号即执行上面这一整段sql语句 
  3. delimiter // 
  4.  
  5. #创建一个存储过程，并命名为 testData 
  6. create procedure testData()  
  7.  
  8. #下面这段就是表示循环往表里插入10w条数据 
  9. begin 
  10.   declare i int; 
  11.   set i=1; 
  12.   while(i<=100000)do 
  13.     insert into t values(i, i, i); 
  14.     set i=i+1; 
  15.   end while; 
  16. end //  #这里遇到//符号，即执行上面一整段sql语句 
  17.  
  18. delimiter ; #恢复mysql分隔符为; 
  19.  
  20. call testData(); #调用存储过程  
  1. #下面这两条命令可以查看表文件所占空间大小 
  2. mysql> use information_schema; 
  3. Reading table information for completion of table and column names 
  4. You can turn off this feature to get a quicker startup with -A 
  5.  
  6. Database changed 
  7. mysql> select concat(round(sum(DATA_LENGTH/1024/1024),2),'M') from tables where table_schema='test' AND table_name='t'; 
  8. +-------------------------------------------------+ 
  9. | concat(round(sum(DATA_LENGTH/1024/1024),2),'M') | 
  10. +-------------------------------------------------+ 
  11. | 3.52M                                           | 
  12. +-------------------------------------------------+ 
  13. 1 row in set (0.04 sec) 

可以看到 10w 条数据在 mysql 中占用了 3.52M 大小的空间，那么我们执行删除命令 delete from t，再看看呢。

  1. #先删除表所有数据，再重新查看表文件大小 
  2. mysql> delete from t; 
  3. Query OK, 100000 rows affected (0.46 sec) 
  4.  
  5. mysql> use information_schema; 
  6. Reading table information for completion of table and column names 
  7. You can turn off this feature to get a quicker startup with -A 
  8.  
  9. Database changed 
  10. mysql> select concat(round(sum(DATA_LENGTH/1024/1024),2),'M') from tables where table_schema='test' AND table_name='t'; 
  11. +-------------------------------------------------+ 
  12. | concat(round(sum(DATA_LENGTH/1024/1024),2),'M') | 
  13. +-------------------------------------------------+ 
  14. | 3.52M                                           | 
  15. +-------------------------------------------------+ 
  16. 1 row in set (0.00 sec) 

从结果可以发现表数据被清空后，表所占空间大小并没有变化，这就验证了上面的结论，delete 操作并没有真正删除数据，表的空间并没有被释放。

这些被删除的记录行，只是被标记删除，是可以被复用的，下次有符合条件的记录是可以直接插入到这个被标记的位置的。

比如我们在 id 为 300-600 之间的记录中删除一条 id=500 的记录，这条记录就会被标记为删除，等下一次如果有一条 id=400 的记录要插入进来，那么就可以复用 id=500 被标记删除的位置，这种情况叫行记录复用。

还有一种情况是数据页复用，就是指整个数据页都被标记删除了，于是这整个数据页都可以被复用了，和行记录复用不同的是，数据页复用对要插入的数据几乎没有条件限制。

还以上面那个插入为例，假如要插入的记录是 id=1000，那么就不能复用 id=500 这个位置了，但如果有一整个数据页可复用的话，那么无论 id 值为多少都可以被复用在这个页上。

这些被标记删除的记录，其实就是一个空洞，有种占着茅坑不拉屎的感觉，浪费空间不说，还会影响查询效率。

因为你要知道，mysql 在底层是以数据页为单位来存储和读取数据的，每次向磁盘读一次数据就是读一个数据页，然而每访问一个数据页就对应一次磁盘 IO 操作，磁盘 IO 相对内存访问速度是相当慢的。

所以你想想，如果一个表上存在大量的数据空洞，原本只需一个数据页就保存的数据，由于被很多空洞占用了空间，不得不需要增加其他的数据页来保存数据，相应的，mysql 在查询相同数据的时候，就不得不增加磁盘 IO 操作，从而影响查询速度。

其实不仅仅是删除操作会造成数据空洞，插入和更新同样也会造成空洞，这里就不细说了，你知道就行。

因此，一个数据表在经过大量频繁的增删改之后，难免会产生数据空洞，浪费空间并影响查询效率，通常在生产环境中会直接表现为原本很快的查询会变得越来越慢。

对于这种情况，我们通常可以使用下面这个命令就能解决数据空洞问题。

  1. optimize table t 

这个命令的原理就是重建表，就是建立一个临时表 B，然后把表 A(存在数据空洞的表) 中的所有数据查询出来，接着把数据全部重新插入到临时表 B 中，***再用临时表 B 替换表 A 即可，这就是重建表的过程。

我们再来试验一下，看看效果。

  1. mysql> optimize table t; 
  2. +--------+----------+----------+-------------------------------------------------------------------+ 
  3. | Table  | Op       | Msg_type | Msg_text                                                          | 
  4. +--------+----------+----------+-------------------------------------------------------------------+ 
  5. | test.t | optimize | note     | Table does not support optimize, doing recreate + analyze instead | 
  6. | test.t | optimize | status   | OK                                                                | 
  7. +--------+----------+----------+-------------------------------------------------------------------+ 
  8. 2 rows in set (0.39 sec) 
  9.  
  10. mysql> use information_schema; 
  11. Reading table information for completion of table and column names 
  12. You can turn off this feature to get a quicker startup with -A 
  13.  
  14. Database changed 
  15. mysql> select concat(round(sum(DATA_LENGTH/1024/1024),2),'M') from tables where table_schema='test' AND table_name='t'; 
  16. +-------------------------------------------------+ 
  17. | concat(round(sum(DATA_LENGTH/1024/1024),2),'M') | 
  18. +-------------------------------------------------+ 
  19. | 0.02M                                           | 
  20. +-------------------------------------------------+ 
  21. 1 row in set (0.00 sec) 

可以看到表文件大小已经变成 0.02M了，说明表空间被释放了，这个 0.02M 应该是定义表结构文件的大小了。

另外下面这个命令也可以实现重建表，可以达到跟上面一样的效果，而且推荐大家使用下面这个命令，大家可以试试。

  1. alter table t engine=InnoDB 

注意本文内容是基于 InnoDB 引擎，对于其他引擎可能存在一些差异。原创不易，如果文章对你有启发，就点个在看吧，有疑问也可以在下面留言交流，也可以与我私信交流，感谢支持。

posted @ 2020-03-17 15:59  陶朱公Boy  阅读(2556)  评论(0)  编辑  收藏  举报