MySQL数据备份企业实战。制作shell脚本
功能1：使用xtrabackup以每周为一个备份周期做备份(数据库+二进制日志,备份至本地/data/backup)。提示: 周一某个时间点做一次完全备份,周二、三、四、五、六、日增量，备份存储目录"/data/backup/2018/52/1/备份数据" 目录解释"/data/backup/年/本年度的第几周/本周的第几天/数据" 一年52周一周7天。可以在新的服务器上进行还原测试。
功能2：通过xtrabackup手动备份，全备份将数据备份到/data/backup/base。可根据base目录进行增量备份到inc1,再根据inc1目录进行增量备份到inc2。并在新的服务器上进行还原测试
shell脚本
#!/bin/bash # #******************************************************************** #Author: qiangshu #Tel: 18610586896 #Date: 2019-11-14 #FileName： mysql_backup.sh #URL: http://xxxxxx #Description： 使用xtrabackup备份和恢复mysql数据库 #测试环境为CentOS7，yum安装的mariadb-server5.5，MySQL5.7.27二进制安装成功 #Copyright (C): 2019 All rights reserved #******************************************************************** # xtrabackup 备份后数据的存储目录 base_dir=/data/backup # mysql的数据目录，恢复的时候用 data_dir=/data/mysql sql_user=\'root\' sql_host=\'localhost\' sql_pass=\'123456\' sql_login="--user=$sql_user --host=$sql_host --password=$sql_pass" #安装epel源，然后安装percona-xtrabackup,yum安装的xtrabackup版本为percona-xtrabackup-2.3.6 #不支持mysql5.7的备份，需要再percona官网下载percona-xtrabackup-24-2.4.12版本或以上版本 #判断脚本参数 case $1 in --all|-a) #--all 手动执行全备份 [ -d $base_dir ] || mkdir -p $base_dir xtrabackup $sql_login --backup --target-dir=$base_dir/base ;; --increment|-i) #--incrementd 手动执行增量备份 end_dir=`ls $base_dir | tail -1` #如果数据目录中只有base，那么就针对base目录进行增量备份 if [ "$end_dir" == "base" ];then xtrabackup $sql_login --backup --target-dir=$base_dir/inc1 --incremental-basedir=$base_dir/base #如果数据目录中已经含有inc的目录，那么根据inc数字最大的目录进行增量备份 elif [[ "$end_dir" =~ "inc" ]];then num=`echo $end_dir | grep -o [0-9]*` let num_add=num+1 xtrabackup $sql_login --backup --target-dir=$base_dir/inc$num_add --incremental-basedir=$base_dir/inc$num fi ;; --manualrecovery|-m) #手动恢复数据,判断数据库的目录是否是空，不为空退出 [ "`ls $data_dir`" == "" ] || { echo MySQL data dir is not null !!!;exit 2; } inc_num=`ls -d $base_dir/inc* 2> /dev/null | wc -l` #如果没有增量数据直接还原 if [ "$inc_num" -eq 0 ];then xtrabackup --prepare --target-dir=$base_dir/base #有增量数据的时候，根据增量数据的文件夹个数，循环恢复 elif [ "$inc_num" -ge 1 ];then xtrabackup --prepare --apply-log-only --target-dir=$base_dir/base for i in `seq 1 $inc_num`;do if [ $i -eq $inc_num ];then xtrabackup --prepare --target-dir=$base_dir/base --incremental-dir=$base_dir/inc$i break fi xtrabackup --prepare --apply-log-only --target-dir=$base_dir/base --incremental-dir=$base_dir/inc$i done fi xtrabackup --copy-back --target-dir=$base_dir/base # 修改数据目录所有文件的用户名为mysql chown -R mysql:mysql $data_dir ;; --autobackup|b) # 可以放在cron计划任务里，每天执行自动备份任务，周一生成全量数据，周二至周日生成增量数据 # 数据目录格式/data/backup/2019/45/1 表示2019年第45周，周一 year=`date +%Y` week_number=`date +%U` date_of_week=`date +%u` full_dir=$base_dir/$year/$week_number mkdir -p $base_dir/$year/$week_number if [ $date_of_week -eq 1 ];then # 周1进行全备份 xtrabackup $sql_login --backup --target-dir=$full_dir/$date_of_week else # 周2-7,针对前一天的数据做增量备份 let yesterday=$date_of_week-1 # 前一天的目录如果不存在，证明没有备份数据 [ -d $base_dir/$year/$week_number/$yesterday ] || { echo Not exist yesterday backup data !!!;exit 1; } xtrabackup $sql_login --backup --target-dir=$full_dir/$date_of_week --incremental-basedir=$full_dir/$yesterday fi ;; --autorecovery|-r) #自动备份恢复方法，使用格式如: ./backup --autorecovery 2019 45 3 恢复到2019年45周第3天的数据 year=$2 week_number=$3 date_of_week=$4 full_dir=$base_dir/$year/$week_number # 如果日期的目录不存在，报错退出 [ -d $full_dir/$date_of_week ] || { echo Wrong input date !!!;exit 3; } # 如果日期目录为空，报错退出 [ "`ls $full_dir/$date_of_week`" == "" ] && { echo Dir no data !!!;exit 4; } # num表示恢复到的周几 num=$date_of_week # 如果数量为1，则只有周1的全备份，按全备份恢复 if [ $num -eq 1 ];then xtrabackup --prepare --target-dir=$full_dir/1 fi # 如果数量>=2，则有周1的全备份，还有多个备份，每个增量分别还原 if [ $num -ge 2 ];then xtrabackup --prepare --apply-log-only --target-dir=$full_dir/1 for i in `seq 2 $num`;do if [ $i -eq $num ];then xtrabackup --prepare --target-dir=$full_dir/1 --incremental-dir=$full_dir/$i break fi xtrabackup --prepare --apply-log-only --target-dir=$full_dir/1 --incremental-dir=$full_dir/$i done fi xtrabackup --copy-back --target-dir=$full_dir/1 chown -R mysql:mysql $data_dir ;; --help|-h) cat << EOF 本脚本通过xtrabackup程序进行mysqld的备份，需要安装percona-xtrabackup-24-2.4.12或更高版本 参数选项： --all或 -a：全备份，全备份默认路径是/data/backup/base --increment 或 -i：增量备份，必须有全备份的情况下在进行增量备份，第一次的增量备份为/data/backup/inc1,第二次为/data/backup/inc2，以此类推 --manualrecovery 或 -m：恢复全备份和增量备份的数据，需要提前把全量备份置于/data/backup/base目录，增量1/data/backup/inc1，以此类推 --autobackup 或 -b：按照年，第几周，周几的格式备份数据。存储路径如/data/backup/2019/45/{1,2,3}，判断如果是周一进行全备份，周二至周日针对前一天的备份进行增量备份。可以把脚本放到crontab任务中每天执行一次。例如：0 30 * * * /bin/bash 脚本名。 --autorecoveryh 或 -r：把--autobackup备份的数据进行还原，还原的时候需要输入年，第几周，周几。例如：script.sh --autorecovery 2019 45 2，意思是恢复到2019年第45周周2的数据 --help 或 -h：查看帮助 EOF ;; *) echo "use --help" esac
脚本使用方法
1、手动备份还原
备份
1、安装percona-xtrabackup-24-2.4.12
2、拷贝脚本到服务器A上，脚本名为mysql_backup.sh
3、修改脚本中的数据库登录用户参数，要有所有权限
sql_user=\'root\'
sql_host=\'192.168.1.33\'
sql_pass=\'123456\'
4、手动对当前数据库进行全备份
./mysql_backup.sh -a
数据默认存储到/data/backup/base中
5、手动对当前数据库进行第一次增量备份
./mysql_backup.sh -i
数据默认存储到/data/backup/inc1中
6、手动对当前数据库进行第二次增量备份
./mysql_backup.sh -i
数据默认存储到/data/backup/inc2中
还原
1、将A服务器的/data/backup/*所有文件拷贝到B服务器(192.168.1.100)/data/backup目录中
scp -r /data/backup/* 192.168.1.100:/data/backup
2、拷贝脚本到服务器A上，脚本名为mysql_backup.sh
3、修改脚本中的mysql实际路径名
data_dir=/var/lib/mysql
4、清空mysql目录中的数据（请确认是否有用）
rm -rf /var/lib/mysql
5、执行脚本进行恢复
./mysql_backup.sh -m
2、自动备份还原
备份
1、安装percona-xtrabackup-24-2.4.12
2、拷贝脚本到服务器A上，脚本名为mysql_backup.sh
将脚本放于/scrpit/mysql_backup.sh
3、修改脚本中的数据库登录用户参数，要有所有权限
sql_user=\'root\'
sql_host=\'192.168.1.33\'
sql_pass=\'123456\'
4、编辑定时任务，每天凌晨1:00备份
crontab -e
0 1 * * * /bin/bash /scrpit/mysql_backup.sh -b
还原
1、将A服务器的/data/backup/*所有文件拷贝到B服务器(192.168.1.100)/data/backup目录中
scp -r /data/backup/* 192.168.1.100:/data/backup
2、拷贝脚本到服务器A上，脚本名为mysql_backup.sh
3、修改脚本中的mysql实际路径名
data_dir=/var/lib/mysql
4、清空mysql目录中的数据（请确认是否有用）
rm -rf /var/lib/mysql
5、执行脚本进行恢复
./mysql_backup.sh -r 2019 45 3
注意：./mysql_backup.sh -r 2019 45 3 含义是恢复到2019年第45周的周3。需要提前确认本周1，周2的目录中是否有数据
后话：本脚本已测试过CentOS7，yum安装的mariadb-server5.5.64 以及 二进制安装的MySQL 5.7.27。其他版本未测试。依赖于xtrabackup的版本
本次使用的版本是percona-xtrabackup-24-2.4.12。如有问题请联系微信18610586896
