sersync+rsync实现服务器文件实时同步

时间：2024-05-10 00:03:07

　　　　　　　　　　　　　　　　　sersync+rsync实现服务器文件实时同步

一、为什么要用rsync+sersync架构？

、sersync是基于inotify开发的，类似于inotify-tools的工具

、sersync可以记录下被监听目录中发生变化的（包括增加、删除、修改）具体某一个文件或者某一个目录的名字，然后使用rsync同步的时候，只同步发生变化的文件或者目录

二、rsync+inotify-tools与rsync+sersync架构的区别？

、rsync+inotify-tools

a、inotify只能记录下被监听的目录发生了变化（增，删，改）并没有把具体是哪个文件或者哪个目录发生了变化记录下来；

b、rsync在同步的时候，并不知道具体是哪个文件或目录发生了变化，每次都是对整个目录进行同步，当数据量很大时，整个目录同步非常耗时（rsync要对整个目录遍历查找对比文件），因此效率很低

、rsync+sersync

a、sersync可以记录被监听目录中发生变化的（增，删，改）具体某个文件或目录的名字；

b、rsync在同步时，只同步发生变化的文件或目录（每次发生变化的数据相对整个同步目录数据来说很小，rsync在遍历查找对比文件时，速度很快），因此效率很高。

总结：

当同步的目录数据量不大时，建议使用rsync+inotify

当同步的目录数据量很大时（几百G甚至1T以上）文件很多时，建议使用rsync+sersync

架构：

sersync+rsync实现服务器文件实时同步

1.部署rsync服务(rsync-server服务器上配置)

yum install rsync -y #安装rsync，如果嫌yum版本过低也可以源码安装
2.vim /etc/rsyncd.conf #默认rsync没有配置文件，创建一个，文件中#和汉字仅为注释，使用中请将所有注释清除
#Rsync server

uid = root

gid = root

use chroot = no                         # 安全相关

max connections =                   # 并发连接数

timeout =                            # 超时时间（秒）

pid file =/var/run/rsyncd.pid           # 指定rsync的pid目录

lock file =/var/run/rsync.lock          # 指定rsync的锁文件【重要】

log file = /var/log/rsyncd.log          # 指定rsync的日志目录

ignore errors                             #忽略一些I/O错误

read only = false                       #设置rsync服务端文件为读写权限

list = false                            #不显示rsync服务端资源列表

hosts allow = 172.16.0.0/               #允许进行数据同步的客户端IP地址，可以设置多个，用英文状态下逗号隔开

hosts deny = 0.0.0.0/                 #禁止数据同步的客户端IP地址，可以设置多个，用英文状态下逗号隔开

auth users = rsync_backup               #执行数据同步的用户名，可以设置多个，用英文状态下逗号隔开

secrets file =/etc/rsync.password       #用户认证配置文件，里面保存用户名称和密码

#################################################

[www]                                   # 模块

comment = www

path = /data/www/

#################################################

[bbs]

comment = bbs

path = /data/bbs/

#################################################

[blog]

comment = blog

path = /data/blog/

#rsync_config____________end

:wq!  #保存,退出
3、创建用户认证文件
echo  "rsync_backup:123456">/etc/rsync.password  #配置文件，添加以下内容
4、设置文件权限
chmod  /etc/rsync.password
5.启动守护进程，并写入开机自启动
rsync --daemon  #可以使用--config= 指定非标准路径下的配置文件

vim /etc/rc.local

# rsync server progress

/usr/bin/rsync --daemon
6.创建相关待同步的目录

mkdir -p /data/{www,bbs,blog}

#rsync-client客户端配置

1.安装rsync，方法同上
2.创建rsync配置文件，客户端创建即可，无需内容
touch /etc/rsyncd.conf
3.配置rsync客户端相关权限认证：
 echo "">/etc/rsync.password

 chmod  /etc/rsync.password
4.创建待同步数据，在客户端创建一些数据
mkdir -p /data/{www,bbs,blog}

touch /data/www/www.log /data/bbs/bbs.log  /data/blog/blog.log
5.测试rsync是否同步
[root@rsync-client www]# touch {..}.txt

[root@rsync-client www]# rsync  -avzP /data/www/ rsync_backup@172.16.150.131::www/   --password-file=/etc/rsync.password   #/data/www/表示本地需要同步的数据目录  rsync_backup@172.16.150.131::www表示服务端的指定名称的模块下  本条命令执行的操作为：将第一个路径参数下的文件同步到第二个路径参数下  即:推模式 调换路径则为:拉模式

sending incremental file list

./

.txt               %    .00kB/s    :: (xfr#, to-chk=/)

.txt               %    .00kB/s    :: (xfr#, to-chk=/)

.txt

               %    .00kB/s    :: (xfr#, to-chk=/)

sent  bytes  received  bytes  582.00 bytes/sec

total size is   speedup is 0.00

#rsync  -avzP /data/www rsync://rsync_backup@172.16.150.131/data/www   --password-file=/etc/rsync.password 第二种方法,直接指定路径

#rsync  -avzP /data/www rsync://rsync_backup@172.16.150.131/data/www/   --password-file=/etc/rsync.password #test为服务器上的目录

参数： --delete 无差异同步

          --bwlimit=KB/S  限速

           --exclude=PATTERN       exclude files matching PATTERN

           --exclude-from=FILE     read exclude patterns from FILE

           --include=PATTERN       don’t exclude files matching PATTERN

           --include-from=FILE     read include patterns from FILE

#此步骤必须成功才能进行下一步
6.开始部署sersync服务(rsync-server服务器上)
tar fxzsersync2..4_64bit_binary_stable_final.tar.gz -C /usr/local/  #百度网盘链接: https://pan.baidu.com/s/11yL6HtZsblkZR8vSSIvzrw 提取码: tdam

cd /usr/local/

mv GNU-Linux-x86 sersync
7.配置sersync
cp sersync/confxml.xml  sersync/confxml.xml-bak

vim  sersync/confxml.xml

修改24--28行

          <localpath watch="/opt/tongbu">

              <remote ip="127.0.0.1" name="tongbu1"/>

              <!--<remote ip="192.168.8.39" name="tongbu"/>-->

              <!--<remote ip="192.168.8.40" name="tongbu"/>-->

          </localpath>

修改后的内容为：

         <localpath watch="/data/www">

             <remote ip="10.1.20.109" name="www"/>

         </localpath>

修改29--35行，认证部分(rsync密码认证)

         <rsync>

             <commonParams params="-artuz"/>

             <auth start="false" users="root" passwordfile="/etc/rsync.pas"/>

             <userDefinedPort start="false" port=""/><!-- port= -->

             <timeout start="false" time=""/><!-- timeout= -->

             <ssh start="false"/>

         </rsync>

修改后的内容如下：

         <rsync>

             <commonParams params="-artuz"/>

             <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.password"/>

             <userDefinedPort start="false" port=""/><!-- port= -->

             <timeout start="true" time=""/><!-- timeout= -->

             <ssh start="false"/>

         </rsync>
8.开启sersync守护进程同步数据

/usr/local/sersync/sersync2  -d -r -o /usr/local/sersync/confxml.xml

配置sersync环境变量

echo"PATH=$PATH:/usr/local/sersync/">>/etc/profile

source /etc/profile
启动命令后返回结果如下为正常：
set the system param

execute：echo  > /proc/sys/fs/inotify/max_user_watches

execute：echo  > /proc/sys/fs/inotify/max_queued_events

parse the command param

option: -d     run as a daemon

option: -r     rsync all the local files to the remote servers before the sersync work

option: -o     config xml name：  ./confxml.xml

daemon thread num:

parse xml config file

XML Parsing error inside file './confxml.xml'.

Error: File not found

At line , column .

同步测试

[root@panwenbin1-sa GNU-Linux-x86]# ./sersync2 -d -r -o ./confxml-www.xml

set the system param

execute：echo  > /proc/sys/fs/inotify/max_user_watches

execute：echo  > /proc/sys/fs/inotify/max_queued_events

parse the command param

option: -d     run as a daemon

option: -r     rsync all the local files to the remote servers before the sersync work

option: -o     config xml name：  ./confxml-www.xml

daemon thread num:

parse xml config file

host ip : localhost    host port:

daemon start，sersync run behind the console

use rsync password-file :

user is    rsync_backup

passwordfile is     /etc/rsync.password

config xml parse success

please set /etc/rsyncd.conf max connections= Manually

sersync working thread   = (primary thread) + (fail retry thread) + (daemon sub threads)

Max threads numbers is:  = (Thread pool nums) + (Sub threads)

please according your cpu ，use -n param to adjust the cpu rate

------------------------------------------

rsync the directory recursivly to the remote servers once

working please wait...

execute command: cd /data/www && rsync -artuz -R --delete ./  --timeout= rsync_backup@10.1.20.109::www --password-file=/etc/rsync.password >/dev/null >&

run the sersync:

watch path is: /data/www
9.多实例情况

   、配置多个confxml.xml文件（比如：www、bbs、blog....等等）

    confxml-bbs.xml  confxml-blog.xml  confxml-www.xml(按照单个实例配置即可)

    、根据不同的需求同步对应的实例文件

    rsync -avzP /data/www/ rsync_backup@10.1.20.109::www/   --password-file=/etc/rsync.password

    rsync -avzP /data/bbs/ rsync_backup@10.1.20.109::bbs/   --password-file=/etc/rsync.password

    rsync -avzP /data/test/ rsync_backup@10.1.20.109::blog/   --password-file=/etc/rsync.passwor

分别启动即可
rsync缺点：
1.大量小文件同步时，比对时间长，有时候rsync进程会停止
2.同步大文件，10G这样的大文件有时也会有问题，会中断。未完整同步之前是隐藏文件，可通过参数续传

相关文章