第一章 sersync/lsync实时同步
1.1 实时同步服务原理/概念
1)需要部署好rsync守护进程服务，实现数据传输
2)需要部署好inotify服务，实现目录中数据变化监控
3)将rsync服务和inotify服务建立联系，将变化的数据进行实时备份传输
1.2 inotify介绍
ݦ Inotify是一种强大的,细粒度的,异步的文件系统事件监视机制,Linux2.6.13起加入了inotify支持,通过inotify可以监控文件系统中添加,删除,修改,移动等各种事件,利用这个内核接口,第三方软件就可以监控文件系统下文件的各种变化情况,而inotify-tools正是实施这样监控的软件,另外一个这样效果的软件是中国人周洋在金山公司开发的sersync,还有一个配置更简单的软件叫lsyncd
1.2.1 查看当前系统是否支持inotify
[root@nfs data]# uname -r
3.10.0-693.el7.x86_64
1.2.2 安装inotify-tools
[root@nfs data]# yum -y install inotify-tools
1.2.3 关键参数说明
[root@nfs backup]# ll /proc/sys/fs/inotify/
total 0
-rw-r--r-- 1 root root 0 Jul 19 15:46 max_queued_events
-rw-r--r-- 1 root root 0 Jul 19 15:46 max_user_instances
-rw-r--r-- 1 root root 0 Jul 19 15:46 max_user_watches
-----------------------------------------------------------------------------
max_queued_events #设置inotify实例事件（event）队列可容纳的事件数量
max_user_instances #设置每个用户可以运行的inotify或者inotifywatch命令的进程数
max_user_watches #设置inotifywait或者inotifywatch命令可以监控的文件数量（单进程）
1.2.4 inotifywait命令参数说明
inotifywait命令参数说明
参数名称 参数说明
-m ,-monitor 始终保持事件监听状态
-r,-recursive 递归查询目录
-q,-quiet 只打印监控事件的信息
-exclude 排除文件或目录时,不区分大小写
-t,-timeout 超时时间
-timefmt 指定时间输出格式
-format 指定时间输出格式
-e,event 后面指定增,删,改等事件
inotifywait events 事件说明
access 读取文件或目录内容
modify 修改文件或目录内容
attrib 文件或目录的属性改变
close_write 修改真实文件内容
open 文件或目录被打开
moved_to 文件或目录移动到
moved_from 文件或目录从...移动到
move 移动文件或目录移动到监视目录
create 在监视目录下创建文件或目录
delete 删除监视目录下的文件或目录
umount 卸载文件系统
1.2.5 inotify监控命令格式
测试创建和删除
[root@nfs data]# touch {01..02}.txt
[root@nfs data]# rm -rf *
[root@nfs data]#
[root@nfs data]# inotifywait -rmq --timefmt '%F %H:%M:%S' --format '%T %w%f 事件信息: %e' -e create,delete /data/
2019-07-19 15:58:32 /data/01.txt 事件信息: CREATE
2019-07-19 15:58:32 /data/02.txt 事件信息: CREATE
2019-07-19 15:59:30 /data/01.txt 事件信息: DELETE
2019-07-19 15:59:30 /data/02.txt 事件信息: DELETE
测试修改文件内容
[root@nfs data]# echo "11" >1.txt
[root@nfs data]# inotifywait -rmq --timefmt '%F %H:%M:%S' --format '%T %w%f 事件信息: %e' -e close_write /data/
2019-07-19 16:01:42 /data/1.txt 事件信息: CLOSE_WRITE,CLOSE
1.2.6 利用inotify监控编写实时监控rsync发送脚本
[root@nfs ~]# cat inotify_push.sh
#!/bin/bash
Path=/data
backup_Server=172.16.1.41
export RSYNC_PASSWORD=oldboy
/usr/bin/inotifywait -mrq --format '%w%f' -e create,close_write,delete /data | while read line
do
echo "${line}"
if [ -f $line ];then
rsync -azvP $line --delete rsync_backup@$backup_Server::data
fi
done
1.2.7 inotify的优缺点
inotify的优点
1）监控文件系统事件变化，通过同步工具实现实时数据同步
inotify的缺点
1）并发如果大于200个文（10-100K），同步就会由延迟
2）我们前面的脚本，每次都是全部推送一次，但是确实是增量的，也可以只同步变化的文件
3）监控到事件后，调用rsync的同步是单进程（加＆并发）sersync进程多同步
1.2.8 sersync功能多：（inotify + rsync命令）
1）支持通过配置文件管理
2）真正的守护进程socket
3）可以对失败文件定时重传（定时任务功能）
4）第三方的HTTP接口（例如：更新cdn缓存）
5）默认多线程rsync同步
1.3 使用sersync前提条件
1.部署好rsync的服务
2.修改sersync配置文件
3.启动sersync即可。
sersync下载地址：
1.3.1 安装sersync服务
[root@nfs application]# cd /home/tools/
[root@nfs tools]# ll
total 712
-rw-r--r-- 1 root root 727290 Jun 30 17:52 sersync2.5.4_64bit_binary_stable_final.tar.gz
[root@nfs tools]# tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz
[root@nfs tools]# ll
total 712
drwxr-xr-x 2 root root 41 Oct 26 2011 GNU-Linux-x86
-rw-r--r-- 1 root root 727290 Jun 30 17:52 sersync2.5.4_64bit_binary_stable_final.tar.gz
[root@nfs tools]# mv GNU-Linux-x86/ /application/sersync
[root@nfs tools]# cd /application/sersync/
[root@nfs sersync]# tree ../sersync/
../sersync/
├── confxml.xml
└── sersync2
0 directories, 2 files
[root@nfs sersync]#
1.3.2 修改配置文件confxml.xml
#排除指定数据信息不要进行实时传输同步
<filter start="false">
<exclude expression="(.*)\.svn"></exclude>
<exclude expression="(.*)\.gz"></exclude>
<exclude expression="^info/*"></exclude>
<exclude expression="^static/*"></exclude>
</filter>
#定义inotify程序需要监控的事件
<inotify>
<delete start="true"/>
<createFolder start="true"/>
<createFile start="false"/>
<closeWrite start="true"/>
<moveFrom start="true"/>
<moveTo start="true"/>
<attrib start="false"/>
<modify start="false"/>
</inotify>
#定义rsync服务功能
<localpath watch="/data">
<remote ip="172.16.1.41" name="backup"/>
<!--<remote ip="192.168.8.39" name="tongbu"/>-->
<!--<remote ip="192.168.8.40" name="tongbu"/>-->
</localpath>
<rsync>
<commonParams params="-az"/>
<auth start="true" users="rsync_backup" passwordfile="/etc/rsync.password"/>
<userDefinedPort start="false" port="874"/><!-- port=874 -->
<timeout start="false" time="100"/><!-- timeout=100 -->
<ssh start="false"/>
</rsync>
1.3.4 查看sersync帮助说明
[root@nfs sersync]# sersync2 -h
set the system param
execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command param
_______________________________________________________
参数-d:启用守护进程模式
参数-r:在监控前，将监控目录与远程主机用rsync命令推送一遍
c参数-n: 指定开启守护线程的数量，默认为10个
参数-o:指定配置文件，默认使用confxml.xml文件
参数-m:单独启用其他模块，使用 -m refreshCDN 开启刷新CDN模块
参数-m:单独启用其他模块，使用 -m socket 开启socket模块
参数-m:单独启用其他模块，使用 -m http 开启http模块
不加-m参数，则默认执行同步程序
________________________________________________________________
[root@nfs sersync]#
1.3.4启动sersync
[root@nfs sersync]# sersync2 -dro /application/sersync/confxml.xml
set the system param
execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command param
option: -d run as a daemon
option: -r rsync all the local files to the remote servers before the sersync work
option: -o config xml name： /application/sersync/confxml.xml
daemon thread num: 10
parse xml config file
host ip : localhost host port: 8008
daemon start，sersync run behind the console
use rsync password-file :
user is rsync_backup
passwordfile is /etc/rsync.password
config xml parse success
please set /etc/rsyncd.conf max connections=0 Manually
sersync working thread 12 = 1(primary thread) + 1(fail retry thread) + 10(daemon sub threads)
Max threads numbers is: 22 = 12(Thread pool nums) + 10(Sub threads)
please according your cpu ，use -n param to adjust the cpu rate
------------------------------------------
rsync the directory recursivly to the remote servers once
working please wait...
execute command: cd /data && rsync -az -R --delete ./ rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password >/dev/null 2>&1
run the sersync:
watch path is: /data
[root@nfs sersync]#
1.4 lsyncd简介
Lysncd 实际上是lua语言封装了 inotify 和 rsync 工具，采用了 Linux 内核（2.6.13 及以后）里的 inotify 触发机制，然后通过rsync去差异同步，达到实时的效果。我认为它最令人称道的特性是，完美解决了 inotify + rsync海量文件同步带来的文件频繁发送文件列表的问题 —— 通过时间延迟或累计触发事件次数实现。另外，它的配置方式很简单，lua本身就是一种配置语言，可读性非常强。lsyncd也有多种工作模式可以选择，本地目录cp，本地目录rsync，远程目录rsyncssh。
实现简单高效的本地目录同步备份（网络存储挂载也当作本地目录），一个命令搞定。
1.4.1 安装lsyncd
[root@nfs01 ~]# yum install lsyncd -y
[root@nfs sersync]# rpm -qc lsyncd
/etc/logrotate.d/lsyncd
/etc/lsyncd.conf
/etc/sysconfig/lsyncd
1.4.2 创建配置文件
[root@nfs ~]# vim /etc/lsyncd.conf
settings {
logfile = "/var/log/lsyncd/lsyncd.log",
statusFile = "/var/log/lsyncd/lsyncd.status",
inotifyMode = "CloseWrite",
maxProcesses = 8,
}
sync {
default.rsync,
source = "/data",
target = "rsync_backup@172.16.1.41::backup",
delete= true,
exclude = { ".*" },
delay = 1,
rsync = {
binary = "/usr/bin/rsync",
archive = true,
compress = true,
verbose = true,
password_file = "/etc/rsync.password",
_extra = {"--bwlimit=200"}
}
}
配置说明
settings { #里面是全局设置
logfile = "/var/log/lsyncd/lsyncd.log", #定义日志文件
statusFile = "/var/log/lsyncd/lsyncd.status", #定义状态文件
inotifyMode = "CloseWrite", #指定inotify监控的事件
maxProcesses = 8, #同步进程的最大个数。假如同时有20个文件需要同步，而 maxProcesses = 8，则最大能看到有8个rysnc进程
}
sync { #里面是定义同步参数
default.rsync,
source = "/data", #同步的源目录，使用绝对路径。
target = "rsync_backup@172.16.1.41::backup", #定义目的地址.对应不同的模式有几种写法：
#/tmp/dest ：本地目录同步，可用于direct和rsync模式172.29.88.223:/tmp/dest ：同步到远程服务器目录，可用于rsync和rsyncssh模式
delete= true, #为了保持target与souce完全同步
exclude = { ".*" }, #排除
delay = 1, #累计事件，等待rsync同步延时时间
rsync = { #rsync模式
binary = "/usr/bin/rsync", #rsync命令路径
archive = true, #归档模式传输, 等于-tropgDl
compress = true, #压缩传输默认为true
verbose = true, #详细模式输出, 打印速率, 文件数量等
password_file = "/etc/rsync.password", #免交互登录
_extra = {"--bwlimit=200"} #限速，单位kb/s
}
}
1.4.3 启动命令
[root@nfs ~]# systemctl start lsyncd