rsync 远程同步 实时同步备份 两种免交互的方式实现实时备份

时间:2023-03-09 16:59:22
rsync 远程同步 实时同步备份 两种免交互的方式实现实时备份

rsync 远程同步: 一款快速增量备份工具 Remote Sync,远程同步 支持本地复制,或者与其他SSH、rsync主机同步

作用:做数据备份

备份方式:

     完全备份

     增量备份

rsync客户端 好处:

优点:   第一次同步时 rsync 会复制全部内容,但在下一次只传输修改过的文件。支持增量备份

         选择性的保持 : 符号链接,硬链接,文件属性,权限 及时间 等

              传输前执行压缩。适用于异地备份 ,镜像服务器等应用 

              安全,使用ssh做为传输端口。 sftp  ,ssh  

rsync命令的基本用法:

格式:rsync 【选项】 源文件 目标文件

常见的选项:

-a,--archive(存档) 归档模式,表示以递归的方式传输文件,并且保持文件属性,等同于加了参数-rlptgoD

-r,–recursive 对子目录以递归模式处理

-l,--links 表示拷贝链接文件

-p , --perms 表示保持文件原有权限

-t , --times 表示保持文件原有时间

-g , --group 表示保持文件原有属用户组

-o , --owner 表示保持文件原有属主

-D , --devices 表示块设备文件信息

-z , --compress 表示压缩传输

-H 表示硬连接文件

-A 保留ACL属性信息

-P 显示传输进度

--delete 删除那些目标位置有而原始位置没有的文件

常见的选项:

-a,--archive(存档) 归档模式,表示以递归的方式传输文件,并且保持文件属性,等同于加了参数-rlptgoD

-z , --compress 表示压缩传输

-P 显示传输进度

--delete 删除那些目标位置有而原始位置没有的文件

[root@DaMoWang ~]# rpm -q centos-release
centos-release--5.1804.el7.centos..x86_64
[root@DaMoWang ~]# rpm -q rsync
rsync-3.1.-.el7.x86_64

创建备份目录

[root@DaMoWang ~]# mkdir -p /var/www/html/
[root@DaMoWang ~]# rsync -azP --delete /var/www/html/  root@192.168.94.29:/backup #把本机的html下的文件备份备份服务器的/backup目录

下面实现实时备份的两种方法

你打算几点备份? 业务最不忙的时候? 

3:00   人都休息。    找一个人最少的时间去备份?  

每天晚上3点起来备份   敲密码???

都不是 , 首先实现无交互 , 在无交互的基础上实现实时备份

使用ssh密钥实现无交互备份

[root@DaMoWang ~]# ssh-keygen    #生成密钥对
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):   #一路回车
Enter passphrase (empty for no passphrase):     #回车
Enter same passphrase again:       #回车
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:+oFKlgZfDbR1PdvG+uq6wWutYQaOxWHUZU2wyRcaw0g root@DaMoWang.localdomain
The key's randomart image is:
+---[RSA ]----+
| . ooE=*+o |
| . + .oo+*.. |
| o o ==. |
| = . ..+ |
| . . S o |
| o o * o . |
| * + o *. . |
| + . . +.+. . |
| . ..==o. |
+----[SHA256]-----+

查看生成的公钥和私钥:

[root@DaMoWang ~]# ls /root/.ssh/
authorized_keys id_rsa id_rsa.pub known_hosts  #id_rsa(私钥)  id_rsa.pub(公钥)

将公钥上传到备份服务器上:

[root@DaMoWang ~]# ssh-copy-id root@192.168.94.29
root@192.168.94.'s password:   #最后一次输入密码
Now try logging into the machine, with "ssh 'root@192.168.94.29'", and check in: .ssh/authorized_keys to make sure we haven't added extra keys that you weren't expecting.

现在已经是无交互免密了 

测试

[root@DaMoWang html]# touch {..}.txt  #创建测试文件
[root@DaMoWang html]# ls
.txt .txt .txt .txt .txt
[root@DaMoWang ~]# rsync -azP --delete /var/www/html/ root@192.168.94.29:/backup  #推送到备份服务器
sending incremental file list
./
.txt
% .00kB/s :: (xfr#, to-chk=/6)
.txt
% .00kB/s :: (xfr#, to-chk=/6)
.txt
% .00kB/s :: (xfr#, to-chk=/6)
.txt
% .00kB/s :: (xfr#, to-chk=/6)
.txt
% .00kB/s :: (xfr#, to-chk=/6)

切换到备份服务器查看

[root@DaMoWang html]# ssh root@192.168.94.29  #切换到备份服务器
[root@DaMoWang ~]# ip a   #已经切换到备份服务器
: lo: <LOOPBACK,UP,LOWER_UP> mtu qdisc noqueue state UNKNOWN group default qlen
link/loopback ::::: brd :::::
inet 127.0.0.1/ scope host lo
valid_lft forever preferred_lft forever
inet6 ::/ scope host
valid_lft forever preferred_lft forever
: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu qdisc pfifo_fast state UP group default qlen
link/ether :0c::7d:b5: brd ff:ff:ff:ff:ff:ff
inet 192.168.94.29/ brd 192.168.94.255 scope global noprefixroute ens33  
valid_lft forever preferred_lft forever
inet6 fe80::a1f6:1d30:fbb2:f090/ scope link noprefixroute
valid_lft forever preferred_lft forever
[root@DaMoWang ~]# cd /backup/  
[root@DaMoWang backup]# ls    #查看备份目录下是否成功备份 
.txt .txt .txt .txt .txt

 [root@DaMoWang backup]# exit
 登出
 Connection to 192.168.94.29 closed.

创建密码文件实现无交互备份

配置备份服务器的rsync配置文件

[root@DaMoWang ~]# vim /etc/rsyncd.conf     #修改rsync的配置文件

# 用户
uid = rsync
# 组
gid = rsync
# 程序安全设置
use chroot = no
# 客户端连接数
max connections = 200
# 超时时间
timeout = 300
# 本机ip
address = 192.168.94.29

# 监听端口
port 873
# 进程号文件位置
pid file = /var/run/rsyncd.pid
# 进程锁
lock file = /var/run/rsync.lock
# 日志文件位置
log file = /var/log/rsyncd.log
# 共享模块名称
[backup]
# 使用目录
path = /backup/
# 有错误时忽略
ignore errors
# 可读可写
read only = false
# 阻止访问远程列表
list = false
# 允许IP
hosts allow = 192.168.94.0/24
# 禁止IP
hosts deny = 0.0.0.0/32
# 虚拟用户
auth users = rsync_backup
# 存放用户和密码的文件
secrets file = /etc/rsync.password
# 排除的压缩类型
dont compress = .gz .bz2 .tgz .zip .rar .z
# 共享模块名称
[nfsbackup]
# 使用目录
path = /data/
# 有错误时忽略
ignore errors
# 可读可写(true或false)
read only = no
# 阻止远程列表(不让通过远程方式看服务端有什么)
list = false
# 允许IP
hosts allow = 192.168.94.0/24
# 禁止IP
hosts deny = 0.0.0.0/32
# 虚拟用户
auth users = rsync_backup
# 存放用户和密码的文件
secrets file = /etc/rsync.password

#保存退出
#把密码文件的权限改成600
[root@DaMoWang ~]# chmod /etc/rsync.password
[root@DaMoWang ~]# echo “rsync_backup:” > /etc/tc/rsync.password #设置密码到密码文件中
[root@DaMoWang ~]# useradd -M -s /sbin/nologin rsync  
[root@DamOWang ~]# chmod +R rsync /backup
  

服务器端配置完成 , 下面把客户端里添加密码文件即可实现面交互

[root@DaMoWang ~]# echo "" > /etc/rsync.password
[root@DaMoWang ~]# mkdir /backup #创建共享目录
[root@DaMoWang ~]# cd /backup
[root@DaMoWang backup]# touch {..}.txt  #创建测试文件
[root@DaMoWang backup]# rsync -azp /backup/ rsync_backup@192.168.94.29::backup --password-file=/et
c/rsync.password  #推送数据到备份服务器
sending incremental file list
./
.txt
% .00kB/s :: (xfr#, to-chk=/)
.txt
% .00kB/s :: (xfr#, to-chk=/6)
.txt
% .00kB/s :: (xfr#, to-chk=/)
.txt
% .00kB/s :: (xfr#, to-chk=/)
.txt
% .00kB/s :: (xfr#, to-chk=/)

切换到备份服务器查看是否备份成功

[root@DaMoWang backup]# ssh root@192.168.94.29  #切换到备份服务器
Last login: Sat Jul :: from 192.168.94.100  #本机ip 192.168.94.100
[root@DaMoWang ~]# ip a   #已经切换到备份服务器
: lo: <LOOPBACK,UP,LOWER_UP> mtu qdisc noqueue state UNKNOWN group default qlen
link/loopback ::::: brd :::::
inet 127.0.0.1/ scope host lo
valid_lft forever preferred_lft forever
inet6 ::/ scope host
valid_lft forever preferred_lft forever
: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu qdisc pfifo_fast state UP group default qlen
link/ether :0c::7d:b5: brd ff:ff:ff:ff:ff:ff
inet 192.168.94.29/ brd 192.168.94.255 scope global noprefixroute ens33  
valid_lft forever preferred_lft forever
inet6 fe80::a1f6:1d30:fbb2:f090/ scope link noprefixroute
valid_lft forever preferred_lft forever
[root@DaMoWang ~]# cd /backup/  
[root@DaMoWang backup]# ls    #查看备份目录下是否成功备份 
.txt .txt .txt .txt .txt
[root@DaMoWang backup]# exit
登出
Connection to 192.168.94.29 closed.

配置rsync+inotify实现实时同步

inotify概述:

Linux内核从2.6.13版本开始提供了inotify通知接口,用来监控文件系统的各种变化情况,如文件存取、删除、移动等。利用这一机制,可以非常方便地实现文件异动告警、增量备份,并针对目录或文件的变化及时作出响应

使用rsync工具与inotify机制相结合,可以实现触发式备份(实时同步),只要原始位置的文档发生变化,则立即启动增量备份操作,否则处于静态等侍状态,这样一来,就避免了按固定周期备份存在的延迟性、周期过密等问题

#使用网络yum源或者源码安装inotify工具
[root@DaMoWang ~]# yum -y install inotify-tools
[root@DaMoWang ~]# inotifywait -h #查看选项 参数

常用参数:
-e 用来指定要监控哪些事件
这些事件包括: create创建,move移动,delete删除,modify修改文件内容,attrib属性更改
-m 表示持续监控
-r 表示递归整个目录
-q 表示简化输出信息

[root@DaMoWang ~]# inotifywait -mrq -e create,close_write,move,delete,modify /var/www/html/    #输入命令后会监控目录变化 , 打开另一个终端来测试

在另一个终端登录,在/var/www/html目录进行相关的操作,然后,回到原来的终端查看监控变化情况

[root@DaMoWang ~]# echo aaa > /var/www/html/a.html
[root@DaMoWang ~]# mkdir /var/www/html/test
[root@DaMoWang ~]# cp /etc/passwd /var/www/html/test/
[root@DaMoWang ~]# rm -rf /var/www/html/test/passwd

查看变化:

/var/www/html/ CREATE a.html
/var/www/html/ MODIFY a.html
/var/www/html/ CREATE,ISDIR test
/var/www/html/test/ CREATE passwd
/var/www/html/test/ MODIFY passwd
/var/www/html/test/ DELETE passwd
#使用inotifywait输出的监控结果中,每行记录中依次包括目录、事件、文件。据此可以识别变动情况

编写触发式同步脚本

只要使用inotifywait检测到事件时,自动执行rsync进行同步操作即可

#!/bin/bash
inotifywait -mrq -e create,close_write,move,delete,modify /var/www/html/ | while read a b c
do
rsync -azP --delete /var/www/html/ root@192.168.94.29:/backup(或者rsync -azp /backup/ rsync_backup@192.168.94.29::backup --password-file=/et
c/rsync.password)

done

加上执行权限并在后台运行即可