innobackupex命令用法实战

关于物理备份工具xtrabackup的安装及介绍可以看一下上篇文章：Percona XtraBackup使用说明接下来介绍一下xtrabackup的两个主要工具：xtrabackup和innobackupex的用法。

环境说明：

HostName	IP	Servers	DB
linux-node1	192.168.20.200	zabbix-server	5.5.56-MariaDB
test	192.168.20.201		5.5.56-MariaDB

test为一台新建测试机，yum安装mysql用来测试恢复zabbix-server端备份的数据。需要做如下配置：

[root@test ~]# cat /etc/redhat-release 
CentOS Linux release 7.3.1611 (Core)
[root@test ~]# yum install -y mariadb mariadb-server #安装mariadb
[root@test ~]# systemctl start mariadb #启动服务

授权zabbix用户：zabbix web端连接展示用，需要修改zabbix.conf.php文件以对应授权用户

MariaDB [mysql]> grant all privileges on zabbix.* to zabbix@'192.168.20.200' identified by '123456';
Query OK, 0 rows affected (0.08 sec)

在zabbix-server端创建进行备份所需最低权限的备份用户：

MariaDB [(none)]> grant reload,lock tables,process,replication client on *.* to 'backup'@'localhost' identified by '123456';

本篇将介绍innobackupex命令的用法：

innobackupex命令在新版本中被弃用了，为了使用上的兼容考虑仍然以xtrabackup软链接的形式存在，本篇整理了使用innobackupex命令进行完全备份和增量备份的全过程以及命令参数说明。了解即可

完全备份

1.在zabbix服务端对zabbix数据库进行完全备份：

[root@linux-node1 backup]# innobackupex --defaults-file=/etc/my.cnf --user=backup --password=123456 --databases=zabbix /data/backup/

执行完成后会在备份目录/data/backup下生成一个以时间戳命名的文件夹

[root@linux-node1 backup]# ll 2018-05-21_15-02-53/
total 895020
-rw-r----- 1 root root 431 May 21 15:03 backup-my.cnf -rw-r----- 1 root root 916455424 May 21 15:03 ibdata1 -rw-r----- 1 root root 27 May 21 15:03 xtrabackup_binlog_info -rw-r----- 1 root root 119 May 21 15:03 xtrabackup_checkpoints -rw-r----- 1 root root 533 May 21 15:03 xtrabackup_info -rw-r----- 1 root root 19456 May 21 15:03 xtrabackup_logfile drwxr-x--- 2 root root      4096 May 21 15:03 zabbix

2.备份文件复制到测试端：

[root@linux-node1 backup]# scp -r 2018-05-21_15-02-53/ root@192.168.20.201:/data/backup/

3.测试端准备(prepare)一个完全备份:

[root@test backup]# innobackupex --apply-log /data/backup/2018-05-21_15-02-53/

4.恢复备份的数据：

#关闭数据库：
[root@test backup]# systemctl stop mariadb
#恢复数据：
[root@test backup]# innobackupex --copy-back /data/backup/2018-05-21_15-02-53/
Original data directory /var/lib/mysql is not empty!
#执行上面的命令需要保证数据库目录是空的，否则会失败，因为目录里有binlog日志，要么移走，要么就用手动复制需要的文件。所以说日志不要和数据放在一起！

#执行手动恢复：
[root@test 2018-05-21_15-02-53]# cp ibdata1 ib_logfile0 ib_logfile1 /var/lib/mysql/
[root@test 2018-05-21_15-02-53]# cp -av zabbix/ /var/lib/mysql/
#恢复后数据库的属性会发生变化需要修改：
[root@test mysql]# chown -R mysql.mysql /var/lib/mysql/*
#启动数据库：
[root@test mysql]# systemctl start mariadb

5.查看恢复数据
修改zabbix.conf.php文件中数据库的配置为测试机的授权用户：

$DB['TYPE']     = 'MYSQL';
$DB['SERVER']   = 'localhost';
$DB['PORT']     = '0';
$DB['DATABASE'] = 'zabbix';
$DB['USER']     = 'zabbix';
$DB['PASSWORD'] = '123456';

innobackupex命令用法实战

可以看到完全备份的时间与页面展示的数据时间关系是对应的。

增量备份

增量备份需要在全备的基础上进行

对于增量备份的Prepare阶段，有2个需要注意的地方，一个是提交的事务需要replayed，一个未提交的事务需要rollback。如果在Prepare阶段replay了已提交的事务以及回滚了未提交的事务，则后续的增量备份无法添加到当前全备。因此在Prepare阶段全备应使用–redo-only选项。对于存在多次增量的情形，仅仅只有最后一个增量不需要使用–redo-only 选项。如果使用了的话，rollback将由服务器启动的时候来完成。
1.创建增量备份
全备：

[root@linux-node1 backup]# innobackupex --defaults-file=/etc/my.cnf --user=backup --password=123456 --databases=zabbix /data/backup/
#这里可以直接使用刚才完全备份的数据，只需要重新往测试机上传一份即可

增量备份：

[root@linux-node1 ~]# innobackupex --defaults-file=/etc/my.cnf --user=backup --password=123456 --databases=zabbix --incremental /data/backup/increment_data/ --incremental-basedir=/data/backup/2018-05-21_15-02-53/
#其中，--incremental指明是增量备份，--incremental-basedir指定上次完整备份或者增量备份文件的位置。这里的增量备份其实只针对的是InnoDB，对于MyISAM来说，还是完整备份。

继续增量：

[root@linux-node1 increment_data]# innobackupex --defaults-file=/etc/my.cnf --user=backup --password=123456 --databases=zabbix --incremental /data/backup/increment_data/ --incremental-basedir=/data/backup/increment_data/2018-05-21_15-21-11/
#要是在第2次做增量备份的时候 --incremental-basedir 指向全量备份，则第一次增量备份中的数据会被第2次包含，只需要还原一次就可以恢复，现在则需要还原2次增量备份。

lsn对应关系如下：
innobackupex命令用法实战

2.推送备份数据到测试机

[root@linux-node1 backup]# scp -r 2018-05-21_15-02-53/ root@192.168.20.201:/data/backup/
[root@linux-node1 backup]# scp -r /data/backup/increment_data/2018-05-21_15-21-11/ root@192.168.20.201:/data/backup/increment_data/
[root@linux-node1 backup]# scp -r /data/backup/increment_data/2018-05-21_15-30-13/ root@192.168.20.201:/data/backup/increment_data/

3.测试端准备(prepare)
需要注意和完全备份的区别--apply-log --redo-only
先prepare全备：

[root@test backup]# innobackupex --apply-log --redo-only /data/backup/2018-05-21_15-02-53/

再prepare第一个增量:

[root@test backup]# innobackupex --apply-log --redo-only  --user-memory=1G /data/backup/2018-05-21_15-02-53/ --incremental-dir=/data/backup/increment_data/2018-05-21_15-21-11/

然后prepare最后一个增量:

[root@test backup]# innobackupex --apply-log /data/backup/2018-05-21_15-02-53/ --incremental-dir=/data/backup/increment_data/2018-05-21_15-30-13/

可以发现在在准备的过程中backup_type的变化过程为full-backuped–>log-applied–>log-applied–>full-backuped。
此时查看lsn可以看到此时的to_lsn指向了第二次增量备份的to_lsn：
innobackupex命令用法实战

4.恢复备份

#关闭数据库：
[root@test backup]# systemctl stop mariadb
#执行手动恢复：
[root@test 2018-05-21_15-02-53]# cp ibdata1 ib_logfile0 ib_logfile1 /var/lib/mysql/
[root@test 2018-05-21_15-02-53]# cp -av zabbix/ /var/lib/mysql/
#恢复后数据库的属性会发生变化需要修改：
[root@test mysql]# chown -R mysql.mysql /var/lib/mysql/*
#启动数据库：
[root@test mysql]# systemctl start mariadb

5.查看恢复后的数据
innobackupex命令用法实战

总结

增量备份是基于增量或全备的基础之上完成的。
增量备份的基础是InnoDB引擎使用了LSN机制，非InnoDB引擎不存在增量备份的说法，每次都是全备。
对于增量备份的恢复期间需要对已提交的事务前滚，未提交的事务回滚。
增量备份的恢复应按照备份的顺利逐个逐个replay，需要使用--apply-log --redo-only选项。
仅仅最后一个增量备份不需要使用–redo-only选项。
如果要做完全恢复或时点恢复，需要结合binlog来实现

innobackupex参数说明

# innobackupex --help
innobackupex - Non-blocking backup tool for InnoDB, XtraDB and HailDB databases
NOTICE: 'innobackupex' is deprecated, please switch to 'xtrabackup'

备份：

innobackupex [--compress] [--compress-threads=NUMBER-OF-THREADS] [--compress-chunk-size=CHUNK-SIZE]
             [--encrypt=ENCRYPTION-ALGORITHM] [--encrypt-threads=NUMBER-OF-THREADS] [--encrypt-chunk-size=CHUNK-SIZE]
             [--encrypt-key=LITERAL-ENCRYPTION-KEY] | [--encryption-key-file=MY.KEY]
             [--include=REGEXP] [--user=NAME]
             [--password=WORD] [--port=PORT] [--socket=SOCKET]
             [--no-timestamp] [--ibbackup=IBBACKUP-BINARY]
             [--slave-info] [--galera-info] [--stream=tar|xbstream]
             [--defaults-file=MY.CNF] [--defaults-group=GROUP-NAME]
             [--databases=LIST] [--no-lock]
             [--tmpdir=DIRECTORY] [--tables-file=FILE]
             [--history=NAME]
             [--incremental] [--incremental-basedir]
             [--incremental-dir] [--incremental-force-scan] [--incremental-lsn]
             [--incremental-history-name=NAME] [--incremental-history-uuid=UUID]
             [--close-files] [--compact]
             BACKUP-ROOT-DIR

#常用参数
--user：该选项表示备份账号。
--password：该选项表示备份的密码。
--port：该选项表示备份数据库的端口。
--host：该选项表示备份数据库的地址。
--socket：该选项表示mysql.sock所在位置，以便备份进程登录mysql。
--defaults-file：该选项指定了从哪个文件读取MySQL配置，必须放在命令行第一个选项的位置。
--databases：该选项接受的参数为数据名，如果要指定多个数据库，彼此间需要以空格隔开；如："db1 db2"，同时，在指定某数据库时，也可以只指定其中的某张表。如："mydatabase.mytable"。该选项对innodb引擎表无效，还是会备份所有innodb表。此外，此选项也可以接受一个文件为参数，文件中每一行为一个要备份的对象。

#压缩参数
--compress：该选项表示压缩innodb数据文件的备份。
--compress-threads：该选项表示并行压缩worker线程的数量。
--compress-chunk-size：该选项表示每个压缩线程worker buffer的大小，单位是字节，默认是64K。

#加密参数
--encrypt：该选项表示通过ENCRYPTION_ALGORITHM的算法加密innodb数据文件的备份，目前支持的算法有ASE128,AES192,AES256。
--encrypt-key：该选项使用合适长度加密key，因为会记录到命令行，所以不推荐使用。
--encryption-key-file：该选项表示文件必须是一个简单二进制或者文本文件，加密key可通过以下命令行命令生成：openssl rand -base64 24。
--encrypt-threads：该选项表示并行加密的worker线程数量。
--encrypt-chunk-size：该选项表示每个加密线程worker buffer的大小，单位是字节，默认是64K。

#增量备份参数
--incremental：该选项表示创建一个增量备份，需要指定--incremental-basedir。
--incremental-basedir：该选项表示接受了一个字符串参数指定含有full backup的目录为增量备份的base目录，与--incremental同时使用。
--incremental-lsn：该选项表示指定增量备份的LSN，与--incremental选项一起使用。
--incremental-dir：该选项表示增量备份的目录。
--incremental-force-scan：该选项表示创建一份增量备份时，强制扫描所有增量备份中的数据页。
--incremental-history-name：该选项表示存储在PERCONA_SCHEMA.xtrabackup_history基于增量备份的历史记录的名字。Percona Xtrabackup搜索历史表查找最近（innodb_to_lsn）成功备份并且将to_lsn值作为增量备份启动出事lsn.与innobackupex--incremental-history-uuid互斥。如果没有检测到有效的lsn，xtrabackup会返回error。
--incremental-history-uuid：该选项表示存储在percona_schema.xtrabackup_history基于增量备份的特定历史记录的UUID。 

#主从
--slave-info：该选项表示对slave进行备份的时候使用，打印出master的名字和binlog pos，同样将这些信息以change master的命令写入xtrabackup_slave_info文件。可以通过基于这份备份启动一个从库。
--safe-slave-backup：该选项表示为保证一致性复制状态，这个选项停止SQL线程并且等到show status中的slave_open_temp_tables为0的时候开始备份，如果没有打开临时表，bakcup会立刻开始，否则SQL线程启动或者关闭知道没有打开的临时表。如果slave_open_temp_tables在--safe-slave-backup-timeount（默认300秒）秒之后不为0，从库sql线程会在备份完成的时候重启。

--include：该选项表示使用正则表达式匹配表的名字[db.tb]，要求为其指定匹配要备份的表的完整名称，即databasename.tablename。
--tables-file：该选项表示指定含有表列表的文件，格式为database.table，该选项直接传给--tables-file。
--no-timestamp：该选项可以表示不要创建一个时间戳目录来存储备份，指定到自己想要的备份文件夹。
--rsync：该选项表示通过rsync工具优化本地传输，当指定这个选项，innobackupex使用rsync拷贝非Innodb文件而替换cp，当有很多DB和表的时候会快很多，不能--stream一起使用。
--stream：该选项表示流式备份的格式，backup完成之后以指定格式到STDOUT，目前只支持tar和xbstream。
--ibbackup：该选项指定了使用哪个xtrabackup二进制程序。IBBACKUP-BINARY是运行percona xtrabackup的命令。这个选项适用于xtrbackup二进制不在你是搜索和工作目录，如果指定了该选项,innoabackupex自动决定用的二进制程序。
--kill-long-queries-timeout：该选项表示从开始执行FLUSH TABLES WITH READ LOCK到kill掉阻塞它的这些查询之间等待的秒数。默认值为0，不会kill任何查询，使用这个选项xtrabackup需要有Process和super权限。
--kill-long-query-type：该选项表示kill的类型，默认是all，可选select。
--ftwrl-wait-threshold：该选项表示检测到长查询，单位是秒，表示长查询的阈值。
--ftwrl-wait-query-type：该选项表示获得全局锁之前允许那种查询完成，默认是ALL，可选update。
--galera-info：该选项表示生成了包含创建备份时候本地节点状态的文件xtrabackup_galera_info文件，该选项只适用于备份PXC。
--defaults-extra-file：该选项指定了在标准defaults-file之前从哪个额外的文件读取MySQL配置，必须在命令行的第一个选项的位置。一般用于存备份用户的用户名和密码的配置文件。
----defaults-group：该选项表示从配置文件读取的组，innobakcupex多个实例部署时使用。
--no-lock：该选项表示关闭FTWRL的表锁，只有在所有表都是Innodb表并且不关心backup的binlog pos点，如果有任何DDL语句正在执行或者非InnoDB正在更新时（包括mysql库下的表），都不应该使用这个选项，后果是导致备份数据不一致，如果考虑备份因为获得锁失败，可以考虑--safe-slave-backup立刻停止复制线程。
--tmpdir：该选项表示指定--stream的时候，指定临时文件存在哪里，在streaming和拷贝到远程server之前，事务日志首先存在临时文件里。在 使用参数stream=tar备份的时候，你的xtrabackup_logfile可能会临时放在/tmp目录下，如果你备份的时候并发写入较大的话 xtrabackup_logfile可能会很大(5G+)，很可能会撑满你的/tmp目录，可以通过参数--tmpdir指定目录来解决这个问题。
--history：该选项表示percona server 的备份历史记录在percona_schema.xtrabackup_history表。   --close-files：该选项表示关闭不再访问的文件句柄，当xtrabackup打开表空间通常并不关闭文件句柄目的是正确的处理DDL操作。如果表空间数量巨大，这是一种可以关闭不再访问的文件句柄的方法。使用该选项有风险，会有产生不一致备份的可能。
--compact：该选项表示创建一份没有辅助索引的紧凑的备份。
--throttle：该选项表示每秒IO操作的次数，只作用于bakcup阶段有效。apply-log和--copy-back不生效不要一起用。

prepare：

innobackupex --apply-log [--use-memory=B]
             [--defaults-file=MY.CNF]
             [--export] [--redo-only] [--ibbackup=IBBACKUP-BINARY]
             BACKUP-DIR

--apply-log：该选项表示同xtrabackup的--prepare参数,一般情况下,在备份完成后，数据尚且不能用于恢复操作，因为备份的数据中可能会包含尚未提交的事务或已经提交但尚未同步至数据文件中的事务。因此，此时数据 文件仍处理不一致状态。--apply-log的作用是通过回滚未提交的事务及同步已经提交的事务至数据文件使数据文件处于一致性状态。
--use-memory：该选项表示和--apply-log选项一起使用，prepare 备份的时候，xtrabackup做crash recovery分配的内存大小，单位字节。也可(1MB,1M,1G,1GB)，推荐1G。
--defaults-file：该选项指定了从哪个文件读取MySQL配置，必须放在命令行第一个选项的位置。
--export：这个选项表示开启可导出单独的表之后再导入其他Mysql中。
--redo-only：这个选项在prepare base full backup，往其中merge增量备份（但不包括最后一个）时候使用。

解压解密：

innobackupex [--decompress] [--decrypt=ENCRYPTION-ALGORITHM]
             [--encrypt-key=LITERAL-ENCRYPTION-KEY] | [--encryption-key-file=MY.KEY]
             [--parallel=NUMBER-OF-FORKS] BACKUP-DIR

--decompress：该选项表示解压--compress选项压缩的文件。
--parallel：该选项表示允许多个文件同时解压。为了解压，qpress工具必须有安装并且访问这个文件的权限。这个进程将在同一个位置移除原来的压缩/加密文件。
--decrypt：该选项表示解密通过--encrypt选项加密的.xbcrypt文件。

还原：

innobackupex --copy-back [--defaults-file=MY.CNF] [--defaults-group=GROUP-NAME] BACKUP-DIR
innobackupex --move-back [--defaults-file=MY.CNF] [--defaults-group=GROUP-NAME] BACKUP-DIR

--copy-back：做数据恢复时将备份数据文件拷贝到MySQL服务器的datadir。
--move-back：这个选项与--copy-back相似，唯一的区别是它不拷贝文件，而是移动文件到目的地。这个选项移除backup文件，用时候必须小心。使用场景：没有足够的磁盘空间同事保留数据文件和Backup副本

注意：
    1.datadir目录必须为空。除非指定innobackupex --force-non-empty-directorires选项指定，否则--copy-backup选项不会覆盖
    2.在restore之前,必须shutdown MySQL实例，你不能将一个运行中的实例restore到datadir目录中
    3.由于文件属性会被保留，大部分情况下你需要在启动实例之前将文件的属主改为mysql，这些文件将属于创建备份的用户
    chown -R my5711:mysql /data1/dbrestore
    以上需要在用户调用Innobackupex之前完成
    --force-non-empty-directories：指定该参数时候，使得innobackupex --copy-back或--move-back选项转移文件到非空目录，已存在的文件不会被覆盖。如果--copy-back和--move-back文件需要从备份目录拷贝一个在datadir已经存在的文件，会报错失败。

参考连接

https://www.linuxidc.com/Linux/2014-12/110851.htm
http://www.cnblogs.com/zhoujinyi/p/4088866.html

秒客网

innobackupex命令用法实战

完全备份

增量备份

总结

innobackupex参数说明

参考连接

相关文章