Rsync原理介绍及配置应用

时间:2021-09-11 22:55:01

1、前言

  基于LAN或WAN的网络应用之间进行数据传输或者同步非常普遍,比如远程数据镜像、备份、复制、同步,数据下载、上传、共享等等。对此,最简单、直接的做法是对数据进行完全复制。然而,数据在网络上来回被复制多次后就会存在大量副本,很多情形下这些文件副本之间仅有很小的差异,很可能是从同一个文件版本演化而来。另一方面,如果对文件进行完全复制,在文件较大的情况下,会占用大量网络带宽,同步时间也会较长。目前,广域网WAN的带宽与访问延迟仍然是急需解决的问题,完全复制使得很多网络应用无法提供良好的服务质量。Rsync是类Unix下常见的一种数据同步算法,它仅传输差异数据,从而节省网络带宽并提高效率。

2、算法介绍

2.1 分块Checksum算法

  首先,rsync会把目标端fileDst的文件平均切分成若干个小块,每块的默认大小为700个字节(最后一块会小于这个数),然后对每块计算两个checksum:一个是32位的rolling checksum,是弱checksum,其使用的算法是Mark Adler发明的adler-32算法。另一个是强checksum,128位的md5 hash算法。(adler-32算法不属于本文讨论的主要内容,有兴趣可参考http://rsync.samba.org/tech_report/node3.html)

  adler-32作为快算法是用来鉴别文件块的不同,但是弱的adler32算法碰撞概率太高了,所以还要引入强的md5 checksum算法以保证两文件块是相同的。也就是说,弱的rolling checksum是用来区别不同,而强的md5 checksum是用来确认相同。

2.2 checksum查找算法

  目标端会把fileDst的一个checksum列表传给源端,这个列表中的每一项包含三个属性:rolling checksum(32bits)、md5 checksume(128bits)、文件块编号。源端rsync接收到这个列表后,会对源端fileSrc做同样的checksum,然后和目标端fileDst的checksum做对比,通过比对就可以感知哪些文件做了变动。为获得O(1)时间复杂度的查找性能,同步源端fileSrc拿到目标端fileDst的checksum数组后,会把这个数据存到一个hash table中。

2.3 比对算法

  (1)取fileSrc的第一个文件块(假设是512个长度),也就是从fileSrc的第1个字节到第512个字节,取出来后做rolling checksum计算。计算好的值到hash表中查。

  (2)如果查到了,说明fileDst中有潜在相同的文件块,就再比较md5的checksum。因为rolling checksume只有32位,发生碰撞的概率非常大,于是还要算md5的128bits的checksum,这样一来发生碰撞的概率就可以忽略了。如果rolling checksum和md5 checksum都相同,这说明在fileDst中有相同的块,我们需要记下这一块在fileDst下的文件编号。

  (3)如果fileSrc的rolling checksum 没有在hash table中找到,那就表明这一文件块不存在于目标端。总之,只要rolling checksum 或 md5 checksum 其中有一个在目标端的checksum hash表中找不到匹配项,那么就会触发算法对fileSrc的滚动计算动作。即算法会住后滑动 1个字节,取fileSrc中字节2-513的文件块要做checksum,重新执行第一步的流程。

  (4)当源端的fileSrc完全做完一遍rolling checksum后,就可以找出源端fileSrc与目标端fileDst不相同的文件块了,也就是要同步到目标端的文件块。之后进行传输。

  (5)算法的简要流程如下图所示:

Rsync原理介绍及配置应用

3、安装配置

3.1 安装

  下载rsync-3.0.4.tar.gz ,地址:http://rsync.samba.org/ftp/rsync/src/rsync-3.0.4.tar.gz

解压安装包,命令:tar –xvzf rsync-3.0..tar.gz
进入到rsync文件夹执行:
cd rsync-3.0.
./configure --prefix=/usr/local/rsync
make
make install

3.2 配置

  Rsync安装完成之后默认没有配置文件,需要自己创建。

3.2.1 创建一系列文件夹

mkdir /usr/local/rsync/logs
mkdir /usr/local/rsync/etc
mkdir /usr/local/rsync/run

3.2.2 添加配置文件

  vim  /usr/local/rsync/etc/rsyncd.conf   内容如下:

uid = root
gid = root
port =
use chroot = no
hosts allow = 192.168.31.22
#hosts deny = 192.168.10.0/
pid file = /usr/local/rsync/run/rsyncd.pid
lock file = /usr/local/rsync/run/rsync.lock
log file = /usr/local/rsync/logs/rsyncd.log
ignore errors [rsynctest]
path = /home/laizy/rsync/rsynctest
auth users = root
secrets file = /usr/local/rsync/rsyncd.pass
read only = no

3.2.3 添加密码文件

  vim /usr/local/rsync/rsyncd.pass   格式为——用户名:密码。示例:

root:

3.2.4 为密码文件赋予权限

chmod  /usr/local/rsync/rsyncd.pass

3.2.5 安全配置

  只允许IP为192.168.31.21的主机连入rsync server:

iptables -A INPUT -p tcp -s ! 192.168.31.22 --dport  -j DROP

3.2.6 启动服务

rsync  --daemon --config=/usr/local/rsync/etc/rsyncd.conf &

4、命令详细说明

–v、–verbose详细模式输出

–q、–quiet精简输出模式

–c、–checksum打开校验开关,强制对文件传输进行校验

–a、–archive归档模式,表示以递归方式传输文件,并保持所有文件属性

–r、–recursive对子目录以递归模式处理

–R、–relative使用相对路径信息

–b、–backup创建备份,也就是对于目的已经存在有同样的文件名时,将老的文件重新命名为~filename

–u、–update仅仅进行更新,也就是跳过所有已经存在于DST,并且文件时间晚于要备份的文件

–l、–links保留软链接

–L、–copy-links想对待常规文件一样处理软链结

–copy-unsafe-links仅仅拷贝指向SRC路径目录树以外的链结

–safe-links忽略指向SRC路径目录树以外的链结

–H、–hard-links保留硬链结

–p、–perms保持文件权限

–o、–owner保持文件属主信息

–g、–group保持文件属组信息

–D、–devices保持设备文件信息

–t、–times保持文件时间信息

–W、–whole-file拷贝文件,不进行增量检测

–x、–one-file-system不要跨越文件系统边界

–B、–block-size=SIZE检验算法使用的块尺寸,默认是700字节

–e、–rsh=COMMAND指定替代rsh的shell程序

–rsync-path=PATH指定远程服务器上的rsync命令所在路径信息

–C、–cvs-exclude使用和CVS一样的方法自动忽略文件,用来排除那些不希望传输的文件

–existing仅仅更新那些已经存在于DST的文件,而不备份那些新创建的文件

–delete删除那些DST中有,而SRC没有的文件,但不会删除任何源数据

–delete-excluded同样删除接收端那些被该选项指定排除的文件

–delete-after传输结束以后再删除

–ignore-errors即使出现IO错误也进行删除

–max-delete=NUM最多删除NUM个文件

–partial保留那些因故没有完全传输的文件,以加快随后的再次传输

–force强制删除目录,即使不为空

–numeric-ids不将数字的用户和组ID匹配为用户名和组名

–timeout=TIMEIP超时时间,单位为秒

–I、–ignore-times不跳过那些有同样的时间和长度的文件

–size-only当决定是否要备份文件时,仅仅察看文件大小而不考虑文件时间

–modify-window=NUM决定文件是否时间相同时使用的时间戳窗口,默认为0

–T–temp-dir=DIR在DIR中创建临时文件

–compare-dest=DIR同样比较DIR中的文件来决定是否需要备份

–P等同于–partial–progress显示备份过程

–z、–compress对备份的文件在传输时进行压缩处理

–exclude=PATTERN指定排除不需要传输的文件模式

–include=PATTERN指定不排除而需要传输的文件模式

–exclude-from=FILE排除一个指定文件名中指定模式匹配的文件

–include-from=FILE不排除一个指定文件名中指定模式匹配的文件

–version打印版本信息

–address绑定到特定的地址

–config=FILE指定其他的配置文件,不使用默认的rsyncd.conf文件

–port=PORT指定其他的rsync服务端口

–blocking-io对远程shell使用阻塞IO

–stats给出某些文件的传输状态

–log-format=FORMAT指定日志文件格式

–password-file=FILE从FILE中得到密码

–bwlimit=KBPS限制I/O带宽,KBytespersecond

–h、–help显示帮助信息

5、常见使用实例

5.1 将本地的文件,同步到远程机器

rsync -avz --password-file=/root/rsyncd.pass /root/temp/ root@192.168.31.22:/home/laizy/tmp/

调换source和destination的位置,亦可完成远程机器到本地的数据同步。

5.2 使用ssh通道进行数据同步

rsync -avz --password-file=/root/rsyncd.pass -e ssh /root/temp/ root@192.168.31.22:/home/laizy/tmp/

5.3 删除不存在于源目录的目的地文件

rsync -avz --password-file=/root/rsyncd.pass --delete /var/opt/laizy/ /root/temp/

5.4 同步时不在目的地创建新文件

rsync -avz --password-file=/root/rsyncd.pass  --existing /var/opt/lx/ /root/temp/

只对目的地已经有的文件进行同步,而不理会源目录新增的文件。

5.5 限制传输文件的大小

rsync -avz --password-file=/root/rsyncd.pass --max-size='100K' /var/opt/lx/ /root/temp/

以上命令限制传输的文件大小只能小于或等于100K,另可以使用M和G作为大小单位。

5.6全拷贝

rsync -avzW --password-file=/root/rsyncd.pass /var/opt/lx/ /root/temp/

默认情况下 rsync 采用增量拷贝,这样能节省带宽,在所同步文件不大的情况下,我们可以通过 -W 选项实现全拷贝。