rsync来实现文件同步

时间:2021-06-01 11:30:41
使用rsync来实现文件同步

部分参考

程序 技术 ― SuperTaoer

[url]www.xfocus.net/articles/200107/214.html[/url]
[url]www.sinzy.net/Blog/Read.asp?ID=10&BID=6900[/url]
blogger.org.cn/blog/more.asp?name=lhwork&id=21039
cmuch.com/article.asp?id=87

第一步,先来下载这个免费的软件。

rsync.samba.org/ 或者 samba.anu.edu.au/rsync

一定要去官方网站下载最新的版本,

解压缩后,编译很简单
./configure �Cprefix=/usr/local/rsync && make && make install

然后先来配置服务端吧

先来编辑服务端配置文件

#vi /etc/rsyncd.conf

#全局配置
uid = root
gid = root
hosts allow = 192.168.0.1
192.168.1.2(中间无空格)
#hosts deny = 0.0.0 .0/32

use chroot = no # 不使用chroot
max connections = 10 #
最大连接数为10
#motd file = /etc/rsyncd.motd #
欢迎信息文件名称和存放位置(此文件没有,可以自行添加)
pid file = /var/run/rsyncd.pid #
指定rsyncpid文件
lock file = /var/run/rsync.lock #
指定支持max connections参数的锁文件,默认值是/var/run/rsyncd.lock
log file = /var/log/rsyncd.log #
指定rsync的日志文件,而不将日志发送给syslog

#下面就是每个模块的配置了
[rsync_module_name1] #
这里是认证的模块名,在client端需要指定
path = /rsync_path/dir1 #
需要做镜像的目录
comment = rsync files
ignore errors #
可以忽略一些无关的IO错误
read only = yes #
只读
list = no #
不允许列文件
auth users = rsync_user #
认证的用户名,如果没有这行,则表明是匿名,多个用户用,分隔
secrets file = /etc/rsyncd.pas #
认证文件名
#pid file = /var/run/rsyncd.pid
#log file = /var/log/rsyncd.log
#lock file = /var/run/rsync.lock

[rsync_module_name2]
……

其中,个人认为,没项配置都可以既在全局配置,也可以在模块内部配置,其中如果模块内部如果有与全局相同的配置,
则模块内部的配置覆盖全局的配置。

然后编辑你上面指定的认证文件,我这里是: /etc/rsyncd.pas

#vi /etc/rsyncd.pas
格式为: username:password
rsync_user:rsyncofpass

安全起见,更改认证文件属性
#chmod 0600 /etc/rsyncd.pas

ok,现在启动下试试看吧。

#/usr/local/rsync/bin/rsync �Cdaemon
你也可以指定rsync运行的端口
#/usr/local/rsync/bin/rsync �Cdaemon �Cport=873

如果要在启动时把服务起来,有几种不同的方法,比如:

加入inetd.conf
编辑/etc/services,加入rsync 873/tcp,指定rsync的服务端口是873
编辑/etc/inetd.conf,加入rsync stream tcp nowait root /bin/rsync rsync �Cdaemon

加入rc.local

在各种操作系统中,rc文件存放位置不尽相同,可以修改使系统启动时rsync �Cdaemon加载进去。

我这里是直接加入 /etc/rc.local
/usr/local/rsync/bin/rsync �Cdaemon �Cport=873
873
就是rsync的默认端口号。

记得配置防火墙,允许你rsync端口的tcpudp协议。
873:tcp 873:udp

下面开始配置客户端

下面这个命令行中-vzrtopg里的vverbose
z
是压缩传输,
r
recursive
topg
都是保持文件原有属性如属主、时间的参数。
u
是只同步已经更新的文件,避免没有更新的文件被重复更新一次,不过要注意两者机器的时钟的同步。
�Cprogress
是指显示出详细的进度情况,
�Cdelete
是指如果服务器端删除了这一文件,那么客户端也相应把文件删除,保持真正的一致。后面的rsync_user@192.168.0.2::rsync_module_name1中,之后的rsync_module_name1是模块名,也就是在/etc/rsyncd.conf中自定义的名称,rsync_user是指定模块中指定的可以同步的用户名。最后的/tmp是备份到本地的目录名。在这里面,还可以用-e ssh的参数建立起加密的连接。
可以用�Cpassword-file=/password/path/file来指定密码文件,这样就可以在脚本中使用而无需交互式地输入验证密码了,这里需要注意的是这份密码文件权限属性要设得只有属主可读。

#/usr/local/rsync/bin/rsync -vzrtopg �Cprogress �Cdelete rsync_user@192.168.0.2::rsync_module_name1 /tmp/
Password:
或者你也可以制定password文件
由于需要系统crontab执行,所以这里采用读入密码文件的方式,
这个时候就成功了。

#vi /etc/rsyncd.pas
加入

注意,客户端的密码文件只需要密码,而不需要用户名!

更改文件权限:
#chmod 0600 /etc/rsyncd.pas

#/usr/local/rsync/bin/rsync -vzrtopgu �Cprogress �Cdelete �Cpassword-file=/etc/rsyncd.pas rsync_user@192.168.0.2::rsync_module_name1 /tmp/

实际操作:

服务端

uid = nobody(也可换成root

gid = nobody(也可换成root

hosts allow = 192.168.1.38,192.168.1.3,192.168.1.138

#hosts deny = 0.0.0 .0/32

use chroot = no

max connections = 4

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

log file = /var/log/rsyncd.log

 

[www]

path = /www

ignore errors

read only = yes

list = no

auth users = backup

secrets file = /etc/backserver.pas

[snmp]

path = /usr/local/net-snmp

ignore errors

read only = yes

list = no

auth users = backup

secrets file = /etc/backserver.pas

建立backserver.pas

#echo “backup:backserver” > /etc/backserver.pas

服务器启动服务

/usr/local/rsync/bin/rsync --daemon --config=/etc/rsyncd.conf

客户端运行的命令

/usr/local/rsync/bin/rsync -vzrtopgu --progress --delete --password-file=/etc/backserver.pas backup@192.168.1.238::snmp /tmp

/usr/local/rsync/bin/rsync -vzrtopgu --progress --delete --password-file=/etc/backserver.pas backup@192.168.1.238::www /tmp

问题排除:

1

[root@bo bin]# /usr/local/rsync/bin/rsync -vazu -progress --delete backup@192.168.1.238::www /tmp --password-file=/etc/backserver.pas

rsync: Failed to exec ss: No such file or directory (2)

rsync error: error in IPC code (code 14) at pipe.c(86) [receiver= 2.6.9 ]

rsync: writefd_unbuffered failed to write 12 bytes [receiver]: Broken pipe (32)

rsync error: error in rsync protocol data stream (code 12) at io.c(1122) [receiver= 2.6.9 ]

[root@ht-store bin]#

以上错误可能是上面使用的参数前面的符号不正确。换成下面的就没有上面的错误了

[root@bo /]# usr/local/rsync/bin/rsync -vzrtopgu --progress --delete --password-file=/etc/backserver.pas backup@192.168.1.238:www /tmp

2

[root@ht-store /]# usr/local/rsync/bin/rsync -vzrtopgu --progress --delete backup@192.168.1.238:www /tmp/ --password-file=/etc/backserver.pas backup@192.168.1.238's password:

Permission denied, please try again.

backup@192.168.1.238's password:

Permission denied, please try again.

backup@192.168.1.238's password:

Permission denied (publickey,gssapi-with-mic,password).

rsync: connection unexpectedly closed (0 bytes received so far) [receiver]

rsync error: unexplained error (code 255) at io.c(453) [receiver= 2.6.9 ]

[root@ht-store /]#

更改成

[root@ht-store /]# usr/local/rsync/bin/rsync -vzrtopgu --progress --delete --password-file=/etc/backserver.pas

backup@192.168.1.238::www /tmp

@ERROR: auth failed on module www

rsync error: error starting client-server protocol (code 5) at main.c(1383) [receiver= 2.6.9 ]

[root@ht-store /]#

3

[root@ht-store /]# /usr/local/rsync/bin/rsync -vazu --progress --delete --password-file=/etc/backserver.pas

backserver@192.168.1.238::www /tmp

@ERROR: auth failed on module www

rsync error: error starting client-server protocol (code 5) at main.c(1383) [receiver= 2.6.9 ]

检查一下用户名是否错误backserver 应该是backup

4

[root@ht-store /]# /usr/local/rsync/bin/rsync -vzar --progress --delete --password-file=/etc/backserver.pas backup@192.168.1.238:www /tmp

backup@192.168.1.238's password:

Permission denied, please try again.

backup@192.168.1.238's password:

rsync error: received SIGINT, SIGTERM, or SIGHUP (code 20) at rsync.c(244) [receiver= 2.6.9 ]

是双引号“::backup@192.168.1.238::www  尔不是单引号“:backup@192.168.1.238:www

5

[root@ht-store /]# /usr/local/rsync/bin/rsync -vzrtopgu --progress --delete --password-file=/etc/backserver.pas backup@192.168.1.238::www /tmp

@ERROR: Unknown module 'www'

rsync error: error starting client-server protocol (code 5) at main.c(1383) [receiver= 2.6.9 ]

这是因为服务器端hosts allow 没有允许该主机访问

6

# chmod 600 rsyncd.conf rsyncd.secrets

-rw-------    1 root     root          795 Aug 23 06:21 rsyncd.conf

-rw-------    1 root     root           37 Aug 23 06:23 rsyncd.secrets

注意:这个安全配置很重要,假如不这样做客户机连接服务器时会提示:

 

@ERROR: auth failed on module smb_recover_files

rsync: connection unexpectedly closed (102 bytes read so far)

rsync error: error in rsync protocol data stream (code 12) at io.c(165)

服务器端日志将出现错误提示:

 

2005/08/23 06:32:01 [8388] secrets file must not be other-accessible (see strict modes option)

2005/08/23 06:32:01 [8388] continuing without secrets file

2005/08/23 06:32:01 [8388] auth failed on module smb_recover_files from documentserver (192.168.0.159)   安装Windows rsync安装程序cwRsync_2.0.10_Installer.zip 安装可以一路next   同步目录的时候执行 D:\LinuxBak\backup>rsync -vzrtopgu --progress --delete rsync_user@192.168.6.143::mysqldb c:\
The source and destination cannot both be remote.
rsync error: syntax or usage error (code 1) at main.c(1068) [receiver=2.6.9]
换一个备份目录就可以了。   在Windows下采取从文件读取密码方式出现的错误信息 D:inuxBak\bbsweb>rsync -vzrtopgu --progress --delete --password-file=D:\LinuxB
ak\bbsweb\pass.txt rsync_user@192.168.6.143::bbsweb ./
password file must not be other-accessible
continuing without password file
Password:
  必需条件密码文件存放的位置一定要是ntfs分区,另一定要注意是下面的书写格式,--password-file=F:\pw一定要在后面指定 D:\LinuxBak\bbsweb>rsync -vzrtopgu --progress --delete rsync://rsync_user@192.168.6.143/bbsweb ./ --password-file=F:\pw     当执行以下命令,出现错误信息时 D:\LinuxBak\mysqldb>rsync -vzrtopgu --progress --delete rsync://rsync_user@192.168.6.143/mysqldb ./ --password-file=F:\pw   错误信息: rsync: mkstemp "/cygdrive/d/LinuxBak/mysqldb/mysql/.dbvpopmail081213-14:01.tar.g
z.3favI3" failed: No such file or directory (2)
      101974 100%  529.70kB/s    0:00:00 (xfer#11, to-check=1/15)
rsync: mkstemp "/cygdrive/d/LinuxBak/mysqldb/mysql/.dbvpopmail081213-15:01.tar.g
z.xI3P0F" failed: No such file or directory (2)
      101975 100%  529.71kB/s    0:00:00 (xfer#12, to-check=0/15)
sent 352 bytes  received 1826513 bytes  3653730.00 bytes/sec
total size is 1833358  speedup is 1.00
rsync error: some files could not be transferred (code 23) at main.c(1385) [gene
rator=2.6.9]
  这是因为在服务器端的备份文件dbvpopmail081213-15:01.tar.gz中有非法符号,可能造成Windows同步数据时无法识别文件名,尔导致问题。将服务器端文件改名为dbvpopmail0812131501.tar.gz 。这样在执行同样的命令就OK了! :) :) :)

 

本文出自 “bo” 博客,请务必保留此出处http://future.blog.51cto.com/26959/83651