一、简介
rsync(Remote Synchronize)是Unix/linux系统下一个快速、非常灵活的的文件同步和复制工具,支持本地复制和远程复制与同步,rsync使用著名的三角传输(delta-transfer)算法,只同步源文件和目标中现有文件之间有差异的部分,并且可以保持原文件的权限、时间、软硬链接等属性,rsync工具广泛用于备份和镜像,且作为一种改进的复制命令。
Rsync默认情况下,需要使用“quick check”算法,仅同步对于大小或最后一次修改时间已更改的文件,其他的文件属性保存,在目标文件的属性没有任何更改前,通过“quick check”,表明该文件的数据并不需要更新。
Note:rsync描述参考与官方站点http://rsync.samba.org/ftp/rsync/rsync.html
1、1 rsync特性
a)可以镜像保存整个目录树和文件系统;
b)文件同步复制时,可以保持文件原有的属性;
c)并不需要超级用户的权限
d)快速:第一次同步时会复制全部内容,下一次同步时只传输文件属性被修改过的文件;
e)安全:可以使用scp,ssh等方式来传输文件,当然也可以通过直接的socket连接;
f)支持匿名传输,以方便进行网站镜像;
二、rsync服务的工作原理示意图
Note:
1、开发人员上传论坛、网站更新代码至测试服务器,并以邮件通知相关的负责人;
2、相关负责人员收到邮件后,共同测试更新代码是否正常;
3、测试结果若正常,则运维人员执行svn更新,否则返回(反馈测试结果);
4、rsync通过‘quick check’算法检查到源文件与目标文件之间的属性差异,完成同步;
备注:此篇文档暂时利用crontab计划任务同步文件,后期会说到inotify+rsync。
四、rsync服务的安装与配置
4、1 rsync文件同步架构明细
4、2 安装
# CentOS系统
[[email protected]_Server ~]#rpm -qa | grep rsync #查询rsync是否安装
rsync-3.0.6-9.el6.x86_64
[[email protected]_Server ~]#yum install rsync #安装rsync
Loaded plugins: fastestmirror, refresh-packagekit, security
Loading mirror speeds from cached hostfile
c6-media| 4.0 kB00:00 ...
Setting up Install Process
Package rsync-3.0.6-9.el6.x86_64 already installed andlatest version
# Ubuntu系统
[email protected]:~# dpkg -l | grep rsync #查询rsync是否安装
iirsync3.0.9-1ubuntu1fast,versatile, remote (and local) file-copying tool
[email protected]:~# apt-get install rsync
Reading package lists... Done
Building dependency tree
Reading state information... Done
rsync is already the newest version.
0 upgraded, 0 newly installed, 0 to remove and 116 notupgraded. #安装rsync
4、3 实例演示
[[email protected]_Server ~]#rsync -avzP files.bz2 /tmp/ #本地复制
sending incremental file list
files.bz2
785100%0.00kB/s0:00:00 (xfer#1, to-check=0/1)
sent 863 bytesreceived 31 bytes1788.00bytes/sec
total size is 785speedup is 0.88
[[email protected]_Server ~]# rsync -avzP files.bz2 [email protected]:/tmp #远程复制
[email protected]'s password:
sending incremental file list
files.bz2
785100%0.00kB/s0:00:00 (xfer#1, to-check=0/1)
sent 863 bytesreceived 31 bytes198.67bytes/sec
total size is 785speedup is 0.8
4、4 配置
Note:安装Rsync软件之后,系统并不会自动生成服务的配置文件,需手动创建,步骤如下所示:
4、4、1 创建配置文件rsyncd.conf
[[email protected]_Server ~]# vim /etc/rsyncd.conf
uid = root
gid = root
use = chroot no
max connections = 3000
timeout = 300
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsyncd.lock
log file = /var/log/rsyncd.log
[site]
path = /rsync/data
read only = false
ignore errors
list = true
hosts allow = 192.168.8.0/24
hosts deny = 0.0.0.0/24
auth users = rsync_nobody
secrets file = /etc/rsyncd.passwd
4、4、2 创建path指定的模块目录与验证文件
[[email protected]_Server ~]# mkdir /rsync/data/-pv #递归创建
[[email protected]_Server ~]# touch/rsync/data/index.html
[[email protected]_Server ~]# vim /etc/rsyncd.passwd
rsync_nobody:admin
##提示:
客户端同步时,需要提供的验证文件,命名规则【用户:密码】。
[[email protected]_Server ~]# chmod 600 /etc/rsyncd.passwd
4、4、3 启动rsync服务进程
[[email protected]_Server ~]# rsync –daemon #以守护进程的方式运行
[[email protected]_Server ~]# netstat -lntp | grep rsync
tcp00 0.0.0.0:8730.0.0.0:*LISTEN43081/rsync
tcp00 :::873:::*LISTEN43081/rsync
5、客户端配置
[[email protected] ~]# vim /etc/rsyncd.passwd
admin
~
[[email protected] ~]# vim /etc/rsyncd.passwd
admin
~
6、验证
6、1拉取,即同步复制rsync server的文件至web1,web2
#客户端web1
[[email protected] ~]# rsync -avzP --delete --progress [email protected]::site/--password-file=/etc/rsyncd.passwd /rsync/data/ #拉取
receiving incremental file list
./
index.html
45100%4.88kB/s 0:00:00 (xfer#1, to-check=0/2)
sent 78 bytesreceived 199 bytes554.00bytes/sec
total size is 45speedup is 0.16
[[email protected] ~]# tree /rsync/data/
/rsync/data/
¤¤ index.html
0 directories, 1 file
#客户端web2
[[email protected] ~]# rsync -avzP --delete --progress [email protected]::site/--password-file=/etc/rsyncd.passwd /rsync/data/ #拉取
receiving incremental file list
./
index.html
45100%21.97kB/s0:00:00 (xfer#1, to-check=0/2)
sent 78 bytesreceived 199 bytes554.00bytes/sec
total size is 45speedup is 0.16
[[email protected] ~]# tree /rsync/data/
/rsync/data/
¤¤ index.html
0 directories, 1 file
6、2 推送,即同步复制web1,web2的文件至rsync server端
#客户端web1
[[email protected] data]#rsync -avzP --progress --password-file=/etc/rsyncd.passwd/rsync/data/ [email protected]::site/
sendingincremental file list
./
a
0 100%0.00kB/s0:00:00 (xfer#1, to-check=5/7)
b
0 100%0.00kB/s0:00:00 (xfer#2, to-check=4/7)
c
0 100%0.00kB/s0:00:00 (xfer#3, to-check=3/7)
d
0 100%0.00kB/s0:00:00 (xfer#4, to-check=2/7)
e
0 100%0.00kB/s0:00:00 (xfer#5, to-check=1/7)
f
0 100%0.00kB/s0:00:00 (xfer#6, to-check=0/7)
sent 299bytesreceived 125 bytes848.00 bytes/sec
total size is0speedup is 0.00
#客户端web2
[[email protected] ~]#rsync -avzP --progress --password-file=/etc/rsyncd.passwd/rsync/data/ [email protected]::site/
sending incrementalfile list
./
a
0 100%0.00kB/s0:00:00 (xfer#1, to-check=5/7)
b
0 100%0.00kB/s0:00:00 (xfer#2, to-check=4/7)
c
0 100%0.00kB/s0:00:00 (xfer#3, to-check=3/7)
d
0 100%0.00kB/s0:00:00 (xfer#4, to-check=2/7)
e
0 100%0.00kB/s0:00:00 (xfer#5, to-check=1/7)
f
0 100%0.00kB/s0:00:00 (xfer#6, to-check=0/7)
sent 281bytesreceived 125 bytes812.00 bytes/sec
total size is0speedup is 0.00
##提示:
rsync server端,配置文件rsyncd.conf中,uid,gid指定的site模块传输文件时所用的用户身份,那么需要为用户授权,超级管理员除外。
7、通过crontab计划任务同步复制
#客户端web1
[[email protected] data]#crontab -e
# auto sync sitefile
* * * * * /usr/bin/rsync-avzP --delete --progress --password-file=/etc/[email protected]::site /rsync/data/ > /dev/null 2>&1
#客户端web2
[[email protected] ~]#crontab -e
#auto sync sitefile
* * * * * /usr/bin/rsync-avzP --delete --progress --password-file=/etc/[email protected]::site /rsync/data/ > /dev/null 2>&1
8、检测crontab计划任务是否成功执行
#客户端web1
#客户端web2
#备注:
通过crontabl计划任务同步文件,两端的数据有一分钟的时间差距,数据肯定不能完全一致,你自己可以编写脚本让程序一直运行,也可以通过inotify+rsync的方式实时同步文件,此篇文档若有不足之处,请大家评论出来,感谢。
转载于:https://blog.51cto.com/cfwlxf/1406364