Linux中架构中的备份服务器搭建(rsync)

时间:2024-03-11 18:23:09

本期内容概要

  • Linux中的备份方式
  • 架构中备份服务器搭建(rsync)

内容详细

1.备份方式

1. cp  :	本机复制(只能作用在本机)

2. scp :	远程复制
	两种模式:
		推 :	本地上传到远程服务器
			scp [本地文件路径] root@远程的ip地址:[要放到远程的路径]
			例:
				[root@m01 ~]# scp 1.txt root@172.16.1.41:/opt/  # 从本地把1.txt文件复制到远程ip地址为 172.16.1.41的服务器上
        
		拉 :	把远程服务器文件下载到本地
			scp root@远程的ip地址:[远程的路径] 要放到本地的地址(路径)
			例:
				[root@m01 ~]# scp root@172.16.1.41:/opt/2.txt .  # 从远程ip地址为 172.16.1.41的服务器上把 /opt/2.txt文件复制(下载)到本地的当前目录下
                
	scp复制 :	只支持全量复制
	'''
	全量复制:
		例如有1TB文件 每次复制都会复制1TB(一般比较浪费带宽)
	'''

3. rsync :	远程复制 但是支持增量复制
	'''
	增量复制:
		例如有1TB文件 每次复制只复制1GB 每次复制的文件加起来 最终复制到1TB(通过多次复制 减少带宽占用 节省资源)
	'''   

2.rsync介绍

rsync英文称为:remote synchronizetion
	
从软件的名称就可以看出来,rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能,这个功能类似于ssh带的scp命令。但是又优于scp命令的功能,scp每次都是全量拷贝,而rsync可以增量拷贝
    
当然,rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据,这又类似cp命令。但是同样也优于cp命令,cp每次都是全量拷贝,而rsync可以增量拷贝

rsync官方地址:https://rsync.samba.org/
    
rsync监听端口:873

rsync运行模式:C/S   client/server

rsync简称:远程同步,可以实现不同主机之间的数据同步,还支持全量和增量

3.rsync特性

支持拷贝特殊文件,如连接文件、设备等

可以有排除指定文件或目录同步的功能,相当于打包命令tar的排除功能

可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变(–p参数)

可以实现增量同步,既只同步发生变化的数据,因此数据传输效率很高(tar-N)

可以使用rcp、rsh、ssh等方式来配合传输文件(rsync本身不对数据加密)

可以通过socket(进程方式)传输文件和数据(服务端和客户端)

支持匿名的活认证(无需系统用户)的进程模式传输,可以实现方便安全的进行数据备份和镜像

4.rsync应用场景

全量备份

增量备份

5.rsync的传输方式

push 推:
	客户端将数据从本地推送至服务端

pull 拉:
	客户端将数据从服务端拉取到本地

6.rsync的传输模式

1.本地方式(类似于cp,不支持推送和拉取,只是单纯的复制)

2.远程方式(类似于scp,又不同于scp),scp只支持全量备份,rsync支持增量备份和差异备份

3.守护进程方式(客户端和服务端)

7.rsync使用

# 格式:
	推:rsync 参数 [本地文件路径] root@远程的ip地址:[要放到远程的路径]
	例:
		[root@m01 ~]# rsync -v 1.txt root@172.16.1.41:/opt/  # 从本地把1.txt文件复制到远程ip地址为 172.16.1.41的服务器上 /opt/目录下
        

	拉:rsync 参数 root@远程的ip地址:[远程的路径] 要放到本地的地址(路径)
	例:
		[root@m01 ~]# rsync -v root@172.16.1.41:/opt/2.txt .  # 从远程ip地址为 172.16.1.41的服务器上把 /opt/2.txt文件复制(下载)到本地的当前目录下

# 参数:
	-a :	归档模式传输,等于-tropgDl	-t -r -o -p -g -D -l
	一般只用 -az即可
	
	-v :	详细模式输出,打印速率,文件数量等
	[root@m01 ~]# rsync -v 2.txt root@172.16.1.41:/opt/
    
	-z :	传输时进行压缩以提高效率
	[root@m01 ~]# rsync -vz 2.txt root@172.16.1.41:/opt/
    
	-r :	递归传输目录及子目录,即目录下得所有目录都同样传输
	[root@m01 ~]# rsync -vzr ./a root@172.16.1.41:/opt/
	
	-t :	保持文件时间信息
	[root@m01 ~]# rsync -vzrt ./a/b/c/2.txt root@172.16.1.41:/opt/
	
	-o :	保持文件属主信息
	-g :	保持文件属组信息
	[root@m01 ~]# rsync -vzrtgo ./a/b/c/2.txt root@172.16.1.41:/opt/
    
	-p :	保持文件权限
	[root@m01 ~]# rsync -vzrtgop ./a/b/c/2.txt root@172.16.1.41:/opt/
    
	-l :	保留软连接
	[root@m01 ~]# rsync -vzrtgopl ./* root@172.16.1.41:/opt/
    
	-P :	显示同步的过程及传输时的进度等信息
	[root@m01 ~]# rsync -vzrtgoplP ./* root@172.16.1.41:/opt/
    
	-D :	保持设备文件信息
	[root@m01 dev]# rsync -vzrtgDopl /dev/tty1 root@172.16.1.41:/opt/
    
	-L :	保留软连接指向的目标文件
	-e :	使用的信道协议,指定替代rsh的shell程序

	--append        :	指定文件接着上次传输中断处继续传输
	[root@m01 ~]# rsync -azP ./* root@172.16.1.41:/opt/
        
	--append-verify :	使用参数续传(在断点续传之后,会先验证一下文件,如果与复制的文件有不同,则修复文件后继续传输)

	--exclude=PATTERN :	指定排除不需要传输的文件
	[root@m01 ~]# rsync -avzP --append-verify --exclude=2.txt ./* root@172.16.1.41:/opt/  # 除了2.txt其他文件正常传输 2.txt跳过传输

	--exclude-from=file :	按照文件指定内容排除
	[root@m01 ~]# rsync -avzP --append-verify --exclude-from=/tmp/exclude.txt  ./* root@172.16.1.41:/opt/  # exclude.txt文件内写入所有不需要传输的文件名 那么exclude.txt内容写入的文件都不会被传输

	--bwlimit=100 :	限速传输(单位:MB)
	[root@m01 ~]# rsync -avzP --append-verify --bwlimit=10 ./* root@172.16.1.41:/opt/

	--delete :	让目标目录和源目录数据保持一致

	--password-file=xxx :	使用密码文件

	--port   :	指定端口传输

8.rsync守护进程模式

# 1.服务端
	01 安装rsync
		[root@backup ~]# yum install -y rsync

	02 修改配置文件
		[root@backup opt]# vim /etc/rsyncd.conf
		uid = rsync
		gid = rsync
		port = 873
		fake super = yes
		use chroot = no
		max connections = 200
		timeout = 600
		ignore errors
		read only = false
		list = false
		auth users = rsync_backup
		secrets file = /etc/rsync.passwd
		log file = /var/log/rsyncd.log
		#####################################
		[backup]
		comment = welcome to backup!
		path = /backup
		[linux]
		comment = welcome to linux!
		path=/tmp/linux
        
	03 创建系统用户
		[root@backup opt]# groupadd rsync -g 666
		[root@backup opt]# useradd rsync -u 666 -g 666 -M -s /sbin/nologin -r  
        
	04 创建密码文件
		[root@backup opt]# echo "rsync_backup:123456" > /etc/rsync.passwd
    
	05 授权(必须授权为600)
		[root@backup opt]# chmod 600 /etc/rsync.passwd
        
	06 创建备份目录
		[root@backup opt]# mkdir /backup
		[root@backup opt]# mkdir /tmp/linux
        
	07 目录授权
		[root@backup opt]# chown rsync.rsync /backup/
		[root@backup opt]# chown rsync.rsync /tmp/linux/
        
	08 关闭防火墙和selinux
		[root@backup opt]# systemctl disabel --now firewalld
		[root@backup opt]# setenforce 0
        
	09 启动rsyncd服务
		[root@backup opt]# systemctl start rsyncd
        
--------------------------------------------------------------------------------------------------------------

# 2.客户端
	连接服务端的三种方式(注意 在客户端执行):
		方法一:自己输入密码
		[root@m01 ~]# rsync -avzP ./* rsync_backup@172.16.1.41::backup
		需要自己输入设置的虚拟用户密码:123456
		rsync_backup :	虚拟用户,只在数据传输时使用
		172.16.1.41  :	backup服务端的IP
		backup       :	模块名称

		方法二:设置密码文件,运行时读取(建议使用)
		01 编写密码文件
		[root@m01 ~]# echo "123456" > /etc/rsync.passwd
		02 授权
		[root@m01 ~]# chmod 600 /etc/rsync.passwd
		03 连接服务端同步
		[root@m01 ~]# rsync -avzP --password-file=/etc/rsync.passwd  ./* rsync_backup@172.16.1.41::linux  # 自动读取密码无需手动输入

		方法三:添加环境变量
		01 定义环境变量
		[root@m01 ~]# export RSYNC_PASSWORD=123456
		02 开始同步
		[root@m01 ~]# rsync -avzP  ./* rsync_backup@172.16.1.41::linux  # 自动读取密码无需手动输入
        
--------------------------------------------------------------------------------------------------------------

# 3.rsync实时同步
	rsync是不支持实时同步的
	通常我们借助于inotify这个软件来实时监控文件变化,一旦inotify监控到文件变,则立即调用rsync进行同步

	01 安装inotify(装在客户端)
	[root@m01 ~]# yum -y install inotify-tools
    
	02 inotify参数介绍
	-m :	持续监控
	-r :	递归
	-q :	静默,仅打印时间信息
        
	--timefmt :	指定输出时间格式
	--format  :	指定事件输出格式
		%Xe   :	事件
		%w    :	目录
		%f    :	文件
            
	-e 指定监控的事件
		access :	访问
		modify :	内容修改
		attrib :	属性修改
		close_write :	修改真实文件内容
		open   :	打开
		create :	创建
		delete :	删除
		umount :	卸载
            
	03 开始监控
		[root@m01 ~]# /usr/bin/inotifywait  -mrq  --format '%Xe  %w  %f' -e create,modify,delete,attrib,close_write  /root   
        
	04 实时监控并同步
		[root@m01 ~]# /usr/bin/inotifywait  -mrq  --format '%Xe  %w  %f' -e create,modify,delete,attrib,close_write  /root | while read line;do
	cd  /root
	rsync -avzP --delete --password-file=/etc/rsync.passwd ./* rsync_backup@172.16.1.41::backup
done