今天谈一下我们自己公司的数据备份,我们公司主要做的是外贸网站,所以,一台服务器上几乎要放上300多个站.程序,图片加上数据库,几乎要达到100个G ,每天更新的数据量也非常大,备份为异地备份,也就是说,所有的数据要传到另外一台服务器.所以研究出以下备份策略及备份脚本,希望对读者有些帮助.以下为实现方式:
软件及策略说明:
软件:软件使用rsync 3.0版本,rsync 3.0比系统自带的2.6版本好用多了,他能实现边比对,边传输,大大提高了备份的速度
策略:网站程序为增量备份,第一次整体同步后,后期备份时,将会比对每一个文件,将有差异的文件进行备份.从而不会丢下任何一个文件.rsync比对文件效率非常高,而且边比对边传输文件.
数据库为每日整体备份.打包传输.每小时备份一次binlog文件.提高了备份的准确率,如果可以的话,也可以将binlog实行每半小时备份一次,找回数据时相对准确.
有人会问,我们为什么不用触发式备份.而是用这种隔一段时间备一次.这里我解释一下,触发式备份.主要用于大型网站,如新浪,搜狐.并且他们的备份方式也不止一种,触发式只是他们其中的一种.触发式只能用于非人为数据丢失.比如服务器硬盘突然报废.机房网络瘫痪.地震等等.如果人为删除数据.或者操作失误.那么,备份服务器上的数据.也会立马消失,这个就达不到备份的效果.
具体实现如下:
假如真实服务器A :192.168.1.2 (实际操作换上真实服务器IP )
备份服务器B :192.168.1.3 (实际操作换上真实服务器IP)
一,以下为在真实服务器上A 上的操作
真实服务器A 为nginx +php-cgi+mysql 模式,nginx 安装目录为/usr/local/webserver/nginx/ 所有的配置文件为一个虚拟主机一个配置文件,并在 /usr/local/webserver/nginx/conf/vhost/下.php安装目录为/usr/local/webserver/php , mysql 安装路径为/usr/local/webserver/mysql 数据库文件在/usr/local/webserver/mysql/var/下
所有的数据全部储存在/data0下,/data0目录结构为:
目录解释:
/data0/db :为每日将所有数据库文件打包存放的地方,打包文件格式为:服务器名.日期.tar
/data0/dbcache : 为备份数据库文件时的临时目录
/data0/logs: 为mysqlbinlog 存放位置,
/data0/nginxconf:为服务器所有nginx配置文件备份存放位置,因为每天架站,删除站比较多,所以这个也需要备份
/data0/script: 为常用脚本存放位置
/data0/web : 为所有网站程序所放置位置
二.
(1) :在script目录下创建dbbak.sh脚本文件
脚本内容为:
#! /bin/bash
cp -rf /usr/local/webserver/nginx/conf/vhost/* /data0/nginxconf/
for i in `ls /usr/local/webserver/mysql/var/`
do
if [ -d /usr/local/webserver/mysql/var/$i ];then
/usr/local/webserver/mysql/bin/mysqlhotcopy -p=密码 $i /data0/dbcache/
fi
done
cd /data0/dbcache/
tar -cf 50.22.128.53.`date +"%Y%m%d"`.tar *
find /data0/db -mtime +7 -exec rm -rf {} \;
mv *.tar /data0/db/
rm -rf /data0/dbcache/*
cd /data0 && /usr/local/bin/rsync -artuz -R --delete ./ 192.168.1.3::模块名>/dev/null 2>&1
下面进行解释:
#! /bin/bash
cp -rf /usr/local/webserver/nginx/conf/vhost/* /data0/nginxconf/ #拷贝nginx配置文件
for i in `ls /usr/local/webserver/mysql/var/` #读取数据库目录下的所有文件
do
if [ -d /usr/local/webserver/mysql/var/$i ];then #判断是否为目录
/usr/local/webserver/mysql/bin/mysqlhotcopy -p=密码 $i /data0/dbcache # 如果是目录的 话,就执行mysqlhotcopy命令将数据库拷贝到/data0/dbcache目录
fi
done
cd /data0/dbcache
tar -cf 服务器IP .`date +"%Y%m%d"`.tar * #打包所有拷贝过来的数据库文件
find /data0/db -mtime +7 -exec rm -rf {} \; #删除/data0/db 下7天以前的数据库打包文件
mv *.tar /data0/db/ #将刚刚打包好的数据库文件拷贝到/data0/db
rm -rf /data0/dbcache/* #删除mysqlhoycopy复制过来的表文件
cd /data0 && /usr/local/bin/rsync -artuz -R --delete ./ 备份服务器::备份服务器上的对应模块>/dev/null 2>&1 # 将/data0下的所有数据利用rsync 工具传输到备份服务器 本案例为192.168.1.3上的对应模块.
注:备份服务器上的模块将在下面进行讲解备份服务器配置时进行解释
(2):制定计划任务.让此脚本每天定时运行一次.可选择访问比较低的时候,例如:
00 00 * * * sh /data0/script/dbbak.sh
三,制定 binlog 备份脚本:
(1):在script目录下创建binlogbak.sh脚本文件
脚本内容如下:
/usr/local/webserver/mysql/bin/mysqladmin flush-logs -p密码
find /data0/logs -name "binlog.*" -mtime +14 -exec rm -rf {} \;
cd /data0 && /usr/local/bin/rsync -artuz -R --delete ./ --exclude "nginxconf/" --exclude "db/" --exclude "web/" --exclude "script/" 192.168.1.3::对应模块>/dev/null 2>&1
脚本解释:
/usr/local/webserver/mysql/bin/mysqladmin flush-logs -p密码 #刷新mysql 日志
find /data0/logs -name "binlog.*" -mtime +14 -exec rm -rf {} \; #删除15天前的日志
cd /data0 && /usr/local/bin/rsync -artuz -R --delete ./ --exclude "nginxconf/" --exclude "db/" --exclude "web/" --exclude "script/" 192.168.1.3::对应模块>/dev/null 2>&1
#将/data0/下除logs目录之外的所有目录排除,并将logs目录同步到远程备份服务器的对应目录
(2): 创建计划任务,让此脚本每隔一小时运行一次
00 * * * * sh /data0/script/binlogbak.sh
至些,真实服务器上的操作已经全部完成,下面讲述备份服务器上的操作
三,在备份服务器上添加rsync备份模板
在/etc/下创建rsyncd.conf配置文件,文件本身没有,需创建
vim /etc/rsyncd.conf
输入以下内容
uid=root
gid=root
max connections=36000
use chroot=0
log file=/var/log/rsyncd.log
pid file=/var/run/rsyncd.pid
lock file=/var/run/rsyncd.lock
[模块名] #此模块名为以上两个脚本中使用的名
path=/home/backup #备份数据存放目录
comment = mydata backup #备注说明
ignore errors = yes
read only=no
hosts allow = 192.168.1.2 #只允许此IP进行备份
hosts deny =*
注: 模块名为以上两个脚本中使用的模块名,例如以上模块名为 [backup]
如下:
uid=root
gid=root
max connections=36000
use chroot=0
log file=/var/log/rsyncd.log
pid file=/var/run/rsyncd.pid
lock file=/var/run/rsyncd.lock
[backup]
path=/home/backup
comment = mydata backup
ignore errors = yes
read only=no
hosts allow = 192.168.1.2
hosts deny =*
则以上两个脚本中最后一行传输数据到备份服务器的脚本为:
dbbak.sh:
cd /data0 && /usr/local/bin/rsync -artuz -R --delete ./ 192.168.1.3::backup>/dev/null 2>&1
binlogbak.sh
cd /data0 && /usr/local/bin/rsync -artuz -R --delete ./ --exclude "nginxconf/" --exclude "db/" --exclude "web/" --exclude "script/" 192.168.1.3::backup>/dev/null 2>&1
保存文件并启动rsync 服务
rsync --daemon
至此,所有的操作即已完成.真实服务器会每隔一天,将自己的数据和备份服务器进行比对,将备份服务器没有,或者修改过的文件,传输到备份服务器.每隔一个小时,会刷新一次mysql 的binlog文件,并传输到远程服器,最大数度的备份数据库文件.
有什么不懂的地方可以加我QQ相互讨论 :410018348
本文出自 “运维人生” 博客,请务必保留此出处http://yaozb.blog.51cto.com/2762349/509266