Mysql大概1700W大表删除1000W左右数据，发现数据大小和索引大小并没有减少思考

时间：2024-05-05 15:35:20

MySQL删除操作其实是假删除

因为近期在重构优化一个业务的时候 发现有一张表(send_log)数据量将近1700W 左右  占用数据大小17G，索引18G左右  而我们的核心应用在使用的时候 会去临时查询这张表 获取一些数据 先不管设计的合不合理吧，因为是维护  不出问题为第一要务 所以想到要物理删除一下表数据  计划把18年1000W左右数据给腾出空间  但运维执行删除操作后  发现情况没有那么理想  行数是少了  但表空间 大小 没降下去

在 InnoDB 中，你的 delete 操作，并不会真的把数据删除，mysql 实际上只是给删除的数据打了个标记，标记为删除，因此你使用 delete 删除表中的数据，表文件在磁盘上所占空间不会变小，我们这里暂且称之为假删除。

Rows原来是1700W  已经delete删除了1000W左右  但dataLength indexLength都没变。。。

Mysql大概1700W大表删除1000W左右数据，发现数据大小和索引大小并没有减少思考

在 InnoDB 中，你的 delete 操作，并不会真的把数据删除，mysql 实际上只是给删除的数据打了个标记，标记为删除，因此你使用 delete 删除表中的数据，表文件在磁盘上所占空间不会变小，我们这里暂且称之为假删除。

上面这个是结论，我们可以通过一个例子来验证下。

沿用前面文章中的例子吧，先创建一个存储过程，插入 10w 条数据，然后看下这 10w 条数据占了多大的空间。

  1. CREATE TABLE `t` (
  2. `id` int(11) NOT NULL,
  3. `a` int(11) DEFAULT NULL,
  4. `b` int(11) DEFAULT NULL,
  5. PRIMARY KEY (`id`),
  6. KEY `a` (`a`),
  7. KEY `b` (`b`)
  8. ) ENGINE=InnoDB;
  1. #定义分割符号，mysql 默认分割符为分号;，这里定义为 //
  2. #分隔符的作用主要是告诉mysql遇到下一个 // 符号即执行上面这一整段sql语句
  3. delimiter //
  4. #创建一个存储过程，并命名为 testData
  5. create procedure testData()
  6. #下面这段就是表示循环往表里插入10w条数据
  7. begin
  8. declare i int;
  9. set i=1;
  10. while(i<=100000)do
  11. insert into t values(i, i, i);
  12. set i=i+1;
  13. end while;
  14. end //  #这里遇到//符号，即执行上面一整段sql语句
  15. delimiter ; #恢复mysql分隔符为;
  16. call testData(); #调用存储过程
  1. #下面这两条命令可以查看表文件所占空间大小
  2. mysql> use information_schema;
  3. Reading table information for completion of table and column names
  4. You can turn off this feature to get a quicker startup with -A
  5. Database changed
  6. mysql> select concat(round(sum(DATA_LENGTH/1024/1024),2),'M') from tables where table_schema='test' AND table_name='t';
  7. +-------------------------------------------------+
  8. | concat(round(sum(DATA_LENGTH/1024/1024),2),'M') |
  9. +-------------------------------------------------+
  10. | 3.52M                                           |
  11. +-------------------------------------------------+
  12. 1 row in set (0.04 sec)

可以看到 10w 条数据在 mysql 中占用了 3.52M 大小的空间，那么我们执行删除命令 delete from t，再看看呢。

  1. #先删除表所有数据，再重新查看表文件大小
  2. mysql> delete from t;
  3. Query OK, 100000 rows affected (0.46 sec)
  4. mysql> use information_schema;
  5. Reading table information for completion of table and column names
  6. You can turn off this feature to get a quicker startup with -A
  7. Database changed
  8. mysql> select concat(round(sum(DATA_LENGTH/1024/1024),2),'M') from tables where table_schema='test' AND table_name='t';
  9. +-------------------------------------------------+
  10. | concat(round(sum(DATA_LENGTH/1024/1024),2),'M') |
  11. +-------------------------------------------------+
  12. | 3.52M                                           |
  13. +-------------------------------------------------+
  14. 1 row in set (0.00 sec)

从结果可以发现表数据被清空后，表所占空间大小并没有变化，这就验证了上面的结论，delete 操作并没有真正删除数据，表的空间并没有被释放。

这些被删除的记录行，只是被标记删除，是可以被复用的，下次有符合条件的记录是可以直接插入到这个被标记的位置的。

比如我们在 id 为 300-600 之间的记录中删除一条 id=500 的记录，这条记录就会被标记为删除，等下一次如果有一条 id=400 的记录要插入进来，那么就可以复用 id=500 被标记删除的位置，这种情况叫行记录复用。

还有一种情况是数据页复用，就是指整个数据页都被标记删除了，于是这整个数据页都可以被复用了，和行记录复用不同的是，数据页复用对要插入的数据几乎没有条件限制。

还以上面那个插入为例，假如要插入的记录是 id=1000，那么就不能复用 id=500 这个位置了，但如果有一整个数据页可复用的话，那么无论 id 值为多少都可以被复用在这个页上。

这些被标记删除的记录，其实就是一个空洞，有种占着茅坑不拉屎的感觉，浪费空间不说，还会影响查询效率。

因为你要知道，mysql 在底层是以数据页为单位来存储和读取数据的，每次向磁盘读一次数据就是读一个数据页，然而每访问一个数据页就对应一次磁盘 IO 操作，磁盘 IO 相对内存访问速度是相当慢的。

所以你想想，如果一个表上存在大量的数据空洞，原本只需一个数据页就保存的数据，由于被很多空洞占用了空间，不得不需要增加其他的数据页来保存数据，相应的，mysql 在查询相同数据的时候，就不得不增加磁盘 IO 操作，从而影响查询速度。

其实不仅仅是删除操作会造成数据空洞，插入和更新同样也会造成空洞，这里就不细说了，你知道就行。

因此，一个数据表在经过大量频繁的增删改之后，难免会产生数据空洞，浪费空间并影响查询效率，通常在生产环境中会直接表现为原本很快的查询会变得越来越慢。

对于这种情况，我们通常可以使用下面这个命令就能解决数据空洞问题。

  1. optimize table t

这个命令的原理就是重建表，就是建立一个临时表 B，然后把表 A(存在数据空洞的表) 中的所有数据查询出来，接着把数据全部重新插入到临时表 B 中，***再用临时表 B 替换表 A 即可，这就是重建表的过程。

我们再来试验一下，看看效果。

  1. mysql> optimize table t;
  2. +--------+----------+----------+-------------------------------------------------------------------+
  3. | Table  | Op       | Msg_type | Msg_text                                                          |
  4. +--------+----------+----------+-------------------------------------------------------------------+
  5. | test.t | optimize | note     | Table does not support optimize, doing recreate + analyze instead |
  6. | test.t | optimize | status   | OK                                                                |
  7. +--------+----------+----------+-------------------------------------------------------------------+
  8. 2 rows in set (0.39 sec)
  9. mysql> use information_schema;
  10. Reading table information for completion of table and column names
  11. You can turn off this feature to get a quicker startup with -A
  12. Database changed
  13. mysql> select concat(round(sum(DATA_LENGTH/1024/1024),2),'M') from tables where table_schema='test' AND table_name='t';
  14. +-------------------------------------------------+
  15. | concat(round(sum(DATA_LENGTH/1024/1024),2),'M') |
  16. +-------------------------------------------------+
  17. | 0.02M                                           |
  18. +-------------------------------------------------+
  19. 1 row in set (0.00 sec)

可以看到表文件大小已经变成 0.02M了，说明表空间被释放了，这个 0.02M 应该是定义表结构文件的大小了。

另外下面这个命令也可以实现重建表，可以达到跟上面一样的效果，而且推荐大家使用下面这个命令，大家可以试试。

  1. alter table t engine=InnoDB

注意本文内容是基于 InnoDB 引擎，对于其他引擎可能存在一些差异。原创不易，如果文章对你有启发，就点个在看吧，有疑问也可以在下面留言交流，也可以与我私信交流，感谢支持。

相关文章