mysql备份工具--xtrabackup简介

时间:2022-08-31 17:12:52

一、xtrabackup简介

1、 xtrabackup介绍

Percona XtraBackup是一个开源、免费的MySQL热备份软件,能够为InnoDB和XtraDB数据库执行非阻塞备份,特点如下:

1)、快速、可靠的完成备份

2)、备份期间不间断事务处理

3)、节省磁盘空间和网络带宽

4)、自动对备份文件进行验证

5)、恢复快,保障在线运行时间持久性

另外,官网关于Xtrabackup还有如下介绍,它能增量备份MySQL数据库,通过流压缩备份MySQL数据到另外一台服务器,在线MySQL服务器之间进行表空间迁移,很easy的创建新的MySQL从服务器,并且备份MySQL数据库时不会带来额外的系统压力。

XtraBackup 有两个工具:xtrabackup 和 innobackupex:

xtrabackup 本身只能备份 InnoDB 和 XtraDB ,不能备份 MyISAM;

innobackupex 本身是 Hot Backup 脚本修改而来,同时可以备份 MyISAM 和 InnoDB,但是备份 MyISAM 需要加读锁。

为什么说Xtrabackup是针对InnoDB引擎的备份工具?

对于MyISAM表只能是温备,而且也不支持增量备份。而XtraBackup更多高级特性通常只能在innodb存储引擎上实现,而且高级特性还都依赖于mysql数据库对innodb引擎实现了单独表空间,否则没办法实现单表或单库导出,因此可以说Xtrabackup是为InnoDB而生也不为过!

2、XtraBackup备份原理:

    1)、InnoDB的备份原理

InnoDB内部会维护一个redo日志文件,我们也可以叫做事务日志文件。事务日志会存储每一个InnoDB表数据的记录修改。当InnoDB启动时,InnoDB会检查数据文件和事务日志,并执行两个步骤:它应用(前滚)已经提交的事务日志到数据文件,并将修改过但没有提交的数据进行回滚操作。

  ● 备份过程

Xtrabackup在启动时会记住log sequence number(LSN),并且复制所有的数据文件。复制过程需要一些时间,所以这期间如果数据文件有改动,那么将会使数据库处于一个不同的时间点。这时,xtrabackup会运行一个后台进程,用于监视事务日志,并从事务日志复制最新的修改。Xtrabackup必须持续的做这个操作,是因为事务日志是会轮转重复的写入,并且事务日志可以被重用。所以xtrabackup自启动开始,就不停的将事务日志中每个数据文件的修改都记录下来。

  ● 准备过程

上面就是xtrabackup的备份过程。接下来是准备(prepare)过程。在这个过程中,xtrabackup使用之前复制的事务日志,对各个数据文件执行灾难恢复(就像mysql刚启动时要做的一样)。当这个过程结束后,数据库就可以做恢复还原了。

   2)、MyISAM的备份原理

以上的过程在xtrabackup的编译二进制程序中实现。程序innobackupex可以允许我们备份MyISAM表和frm文件从而增加了便捷和功能。Innobackupex会启动xtrabackup,直到xtrabackup复制数据文件后,然后执行FLUSH TABLES WITH READ LOCK来阻止新的写入进来并把MyISAM表数据刷到硬盘上,之后复制MyISAM数据文件,最后释放锁。

备份MyISAM和InnoDB表最终会处于一致,在准备(prepare)过程结束后,InnoDB表数据已经前滚到整个备份结束的点,而不是回滚到xtrabackup刚开始时的点。这个时间点与执行FLUSH TABLES WITH READ LOCK的时间点相同,所以myisam表数据与InnoDB表数据是同步的。类似oracle的,InnoDB的prepare过程可以称为recover(恢复),myisam的数据复制过程可以称为restore(还原)。

Xtrabackup和innobackupex这两个工具都提供了许多前文没有提到的功能特点。手册上有对各个功能都有详细的介绍。简单介绍下,这些工具提供了如流(streaming)备份,增量(incremental)备份等,通过复制数据文件,复制日志文件和提交日志到数据文件(前滚)实现了各种复合备份方式。

什么是流备份?

流备份是指备份的数据通过标准输出STDOUT传输给tar程序进行归档,而不是单纯的将数据文件保存到指定的备份目录中,参数--stream=tar表示开启流备份功能并打包。同时也可以利用流备份到远程服务器上。

--------------------------------------------------------------------------------

Xtrabackup实现细节

XtraBackup以read-write模式打开innodb的数据文件,然后对其进行复制。其实它不会修改此文件。也就是说,运行 XtraBackup的用户,必须对innodb的数据文件具有读写权限。之所以采用read-write模式是因为XtraBackup采用了其内置的 innodb库来打开文件,而innodb库打开文件的时候就是rw的。

XtraBackup要从文件系统中复制大量的数据,所以它尽可能地使用posix_fadvise(),来告诉OS不要缓存读取到的数据,从 而提升性能。因为这些数据不会重用到了,OS却没有这么聪明。如果要缓存一下的话,几个G的数据,会对OS的虚拟内存造成很大的压力,其它进程,比如 mysqld很有可能被swap出去,这样系统就会受到很大影响了。

在备份innodb page的过程中,XtraBackup每次读写1MB的数据,1MB/16KB=64个page。这个不可配置。读1MB数据之 后,XtraBackup一页一页地遍历这1MB数据,使用innodb的buf_page_is_corrupted()函数检查此页的数据是否正常,如果数据不正常,就重新读取这一页,最多重新读取10次,如果还是失败,备份就失败了,退出。在复制transactions log的时候,每次读写512KB的数据。同样不可以配置。

 

 

二、xtrabackup安装

 1、登录官网,下载2.4.3版本

官网:https://www.percona.com/downloads/XtraBackup/LATEST/

包链接:wget  https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.3/binary/tarball/percona-xtrabackup-2.4.3-Linux-x86_64.tar.gz

  2、安装xtrabackup

#解压源码包

[root@test xtrabackup]# tar  -zxvf percona-xtrabackup-2.4.3-Linux-x86_64.tar.gz

#移动源码包到/usr/local目录

[root@test xtrabackup]# mv percona-xtrabackup-2.4.3-Linux-x86_64 /usr/local/

#制作软连接,其实也可以直接mv,只是换个名称

[root@test local]# ln -sf /usr/local/percona-xtrabackup-2.4.3-Linux-x86_64/  /usr/local/xtrabackup

#制作软连接,优化命令执行

[root@test local]#   ln -sf /usr/local/xtrabackup/bin/* /usr/bin/

 

  3、xtrabackup常用参数

常用参数:

--user=USER                     指定备份用户,不指定的话为当前系统用户

--password=PASSWD               指定备份用户密码

--port=PORT                     指定数据库端口

--defaults-group=GROUP-NAME     在多实例的时候使用

--host=HOST                     指定备份的主机,可以为远程数据库服务器

--apply-log                     回滚日志

--database                      指定需要备份的数据库,多个数据库之间以空格分开

--defaults-file                 指定mysql的配置文件

--copy-back                     将备份数据复制回原始位置

--incremental                   增量备份,后面跟要增量备份的路径

--incremental-basedir=DIRECTORY 增量备份时使用指向上一次的增量备份所在的目录

--incremental-dir=DIRECTORY     增量备份还原的时候用来合并增量备份到全量,用来指定全备路径

--redo-only                     对增量备份进行合并

--rsync                         加快本地文件传输,适用于non-InnoDB数据库引擎。不与--stream共用

--safe-slave-backup

--no-timestamp                  生成的备份文件不以时间戳为目录.

 

  1、数据库太大没有足够的空间全量备份,作增量备份有效节省空间,且效率高。

  2、支持热备份。备份过程不锁表,不受时间限制,不影响用户使用。

  3、每日备份只产生少量数据,远程备份传输更方便。同时节省空间。

  4、备份恢复基于文件操作,降低直接对数据库操作风险。

  5、备份效率更高,恢复效率更高。