mysql删除大表更快的drop table办法

时间：2024-04-07 13:43:54

在DROP TABLE的时候，所有进程不管是DDL还是DML都被HANG起；直到DROP结束才继续执行；
这是因为INNODB会维护一个全局独占锁（在table cache上面），直到DROP TABLE完成才释放。
在我们常用的ext3,ext4，ntfs文件系统，要删除一个大文件（几十G，甚至几百G）还是需要点时间的。
下面我们介绍一个快速DROP table 的方法； 不管多大的表,INNODB 都可以很快返回，表删除完成；

尝试5：又找了另一位大牛，这下得解救了，翻身农奴了，拜啊，三柱香，牛！想知道是怎么做的吗？我知道你想，嘻嘻，别着急，是这样的，建硬链接
          在DB server上，找到mytable表对应的文件，我的是/data/mysql3306/data/mydatabase/。
          在这个目录下，我们可以看到以下记录，真的是390G！吓死银呀！ 
          -rw------- 1 oracle oinstall  46672 Aug 30 15:42 mytable.frm 
          -rw------- 1 oracle oinstall 391466975232 Aug 30 15:42 mytable.ibd 
          以上记录中，1表示该文件只有一个链接（没有另外的人链接到它，要删就是真的删文件本身了哦），怪不得我执行truncate/drop这么慢，原来背后就是在删这个东东呀！
          那怎么办呢？能不能绕过，不删文件本身，先快速把表drop掉该多好呀。那么建硬链接ln可以完成。
         ln mytable.ibd  mytable.ibd.h
         ln mytable.frm  mytable.frm.h
         相当于一个文件被两个索引链接着，要删就是只删链接，而不是删文件本身了，直到只有一个人链接它，才会是真的删呢。
          这时再执行drop表的动作，别提多快了，oh my god，快到惊人，mytable.ibd瞬间它不见了，不见了！
          最后别忘了把那个大大的“真文件”手工删删掉 
         rm -f mytable.ibd.h
         rm -f mytable.frm.h
 
          所以，同学们，乡亲们，最最亲爱的屌丝们，我痛完了，也絮叨完了，希望你疼的时候能看到这篇博客，帮你节约哪怕一杯茶的时间，也值了。共勉！





众所周知drop table会严重的消耗服务器IO性能，如果被drop的表容量较大，甚至会影响到线上的正常。

首先，我们看一下为什么降容量大的表会影响线上服务

　　直接执行drop table，MySQL会将表定义和表数据全都删除，包括磁盘上的物理文件，也包括缓冲池中的内存数据。

　　这么分两步，第一步从缓冲池中删除，这会涉及到table_cache的锁，如果持有table_cache的锁，这将导致其他查询都无法执行。这种情况在没有innodb_per_table之前尤为严重。另外，mysql5.5.23之后添加lazy drop table功能，这个功能用来解决互斥的LRU列表。其中心思想就是加锁，找到需要被删除的页面，删除1024个页之后释放锁让其他线程工作，之后循环而percona的lazy drop处理起来更优雅一些，其会先加锁，然后找到需要被删除的页面，标记，释放锁，后台慢慢删除。

mysql删除大表更快的drop table办法

　　之后就是第二步，这步在大容量表的时候更为消耗时间，那就是在OS上删除物理文件。大家都知道在EXT3上RM一个200G的文件会非常耗时，这是由于EXT3存储数据的结构导致，如果一个很大的文件，EXT3的i_block无法直接存放，需要多层嵌套才能完全存储下，在这种情况下由于映射的层次多，并且由于多层映射也不会是顺序存储的，就导致了很大的随机IO，这就导致了删除物理文件非常慢的现象。在这种情况下，建议升级到EXT4，这是由于EXT4比ext3的使用程度分配存储空间，其最大的优势就是顺序存储。

EXT3：

mysql删除大表更快的drop table办法

EXT4：

mysql删除大表更快的drop table办法 

知道了原因，我们来说说如何解决具体步骤如下：

　1，建立硬链接。

ln table.ibd table.idb.hdlk

　　2，mysql执行drop table操作。

drop  table  if  exists tablename;

　　3，使用截断删除物理文件。

truncate -s 1024 * 1024 * 4 filename

 

　　其实硬链接和drop table就不用多说了，在建立硬链接之后，mysql会认为rm了硬链接文件之后就算操作完毕，不会真正去删除物理文件从而提高了速度。但是对于服务器来说，实际的物理文件还在，如果手动RM，还是会产生很多的IO影响，这时候就用到了截断这个工具。这个工具会根据指定的尺寸大小进行逐步删除，会将对IO造成的影响降到最低。

mysql删除大表更快的drop table办法
用法：truncate OPTION ... FILE ...
缩小或扩展每个FILE的大小到指定的大小

创建不存在的FILE参数。

如果文件大于指定的大小，则额外的数据将丢失。
如果文件较短，则延长部分（孔）
读为零字节。
长期期权的
强制性论据也适用于 短期期权。
  -c，--no创建         做不创建任何文件
   -o，--io- 块对待SIZE作为IO块而不是字节数
   -r，--reference = 上的RFile的RFile基底大小
   -s，--size = SIZE通过SIZE设置或调整文件大小
       - 帮助显示此帮助和退出
       - 版本输出版本信息并退出

SIZE可以是（或可以是可选的后面的整数）以下之一：对于G，T，P，E，Z，Y，
KB 1000，K 1024，MB 1000 * 1000，M 1024 * 1024等。

SIZE也可以前缀为以下修改字符之一：
` + ' 延伸，` - '减少，`< ' 至多，`> ' 至少，
` / ' 循环到多个，'％' 轮到多个。

报告截断bug - [email protected]
GNU coreutils主页： http：// www.gnu.org/software/coreutils/> 
一般帮助使用GNU软件：<http：// www.gnu.org/gethelp/> 
有关完整的文档，请运行：info coreutils ' 截断调用“





[email protected] : test 21:39:34> drop table tt ;
Query OK, 0 rows affected (25.01 sec)

删除一个11G的表用时25秒左右（硬件不同，时间不同）；

下面我们来对另一个更大的表进行删除；
但之前，我们需要对这个表的数据文件做一个硬连接：

[email protected] # ln stock.ibd stock.id.hdlk
[email protected] # ls stock.* -l
-rw-rw—- 1 MySQL mysql        9196 Apr 14 23:03 stock.frm
-rw-r–r– 2 mysql mysql 19096666112 Apr 15 09:55 stock.ibd
-rw-r–r– 2 mysql mysql 19096666112 Apr 15 09:55 stock.id.hdlk

你会发现stock.ibd的INODES属性变成了2；

[email protected] : test 21:39:34> drop table stock ;
Query OK, 0 rows affected (0.99 sec)

1秒不到就删除完成； 也就是DROP TABLE不用再HANG这么久了。
但table是删除了，数据文件还在，所以你还需要最后数据文件给删除。

root # ll
total 19096666112
-rw-r–r– 2 mysql mysql 19096666112 Apr 15 09:55 stock.id.hdlk
root # rm stock.id.hdlk
虽然DROP TABLE 多绕了几步。(如果你有一个比较可靠的自运行程序（自动为大表建立硬链接，并会自动删除过期的硬链接文件），就会显得不那么繁琐。)
这样做能大大减少MYSQL HANG住的时间； 相信还是值得的。

至于原理: 就是利用OS HARD LINK的原理,
当多个文件名同时指向同一个INODE时,这个INODE的引用数N>1, 删除其中任何一个文件名都会很快.
因为其直接的物理文件块没有被删除.只是删除了一个指针而已;
当INODE的引用数N=1时, 删除文件需要去把这个文件相关的所有数据块清除,所以会比较耗时;

相关文章