1. nfs存储的单点问题
如果nfs服务器宕机了，则所有的nfs客户机都会受到影响。一旦宕机，会丢失部分用户的数据。为了解决单点问题，需要实现共享存储的实时备份，即：将nfs服务端共享目录下的数据实时备份到备份服务器（或其它存储设备），以保证数据的完整性。
2. NFS共享数据的实时同步推送备份
公司有两台web服务器一直在对外提供服务，但随着业务的发展用户越来越多，网站的功能也越来越强大，各种图片，视频等占用硬盘空间越来越大。
于是，领导将web服务器的数据直接存储到NFS服务器上作为存储使用；并且为了防止NFS服务器发生单点故障，领导希望将web服务器存储的内容实时同步到Rsync备份服务器上。现在由你来计划完成领导的需求。
具体要求如下：
- NFS服务器的要求如下：
- 服务器的共享目录名为/data目录；
- 权限要求只能内网网段访问且可读可写，时时同步；
- 为了方便管理人员管理，需要指定NFS虚拟账户为zuma，uid=888，gid=888
- 所有访问者的身份都压缩为最低身份
- 将/data目录里的内容同步时时推送到备份服务器的/data目录里（inotify+rsync）
- web服务器将NFS共享目录统一挂载到/var/html/www目录下
思路：
1. NFS存储服务器和Rsync备份服务器，Rsync服务器部署运行rsync --daemon服务，NFS服务器作为Rsync的客户端，可以通过rsync -avz /data rsync_backup@192.168.0.41::nfsbackup/ --password-file=/etc/rsync.password命令，将/data目录的文件备份到Rsync备份服务器。
2. NFS存储服务器部署完成，正常运行情况下。
3. NFS存储服务器和Rsync备份服务器之间，通过crond+rsync服务，通过定时任务的备份服务，将数据备份到Rsync备份服务器
4. 想要实现实时备份，则在NFS存储服务器上通过inotify，sersync或irsync服务，监控NFS存储服务器共享目录的磁盘的block的变化，触发推动执行同步。
2.1 环境准备
操作系统和内核版本
[root@web01-8 ~]# cat /etc/redhat-release
CentOS release 6.7 (Final)
[root@web01-8 ~]# uname -r
2.6.32-573.el6.x86_64
角色-ip
| 角色 | 主机名 | eth0（外网） | eth1（内网） |
|---|---|---|---|
| C1-NFS服务器 | nfs01 | 10.0.0.31 | 192.168.0.31 |
| C2-Rsync存储服务器 | backup | 10.0.0.41 | 192.168.0.41 |
2.2 NFS服务的部署
部署过程详情见：https://www.cnblogs.com/zoe233/p/11973710.html
【NFS服务端】
# 系统环境
[root@nfs-31 mnt]# cat /etc/redhat-release
CentOS release 6.10 (Final)
[root@nfs-31 mnt]# uname -r
2.6.32-573.el6.x86_64
[root@nfs-31 mnt]# uname -m
x86_64 # 查看rpcbind和nfs服务，并设置开机自启动
[root@nfs-31 mnt]# rpm -qa nfs-utils rpcbind
rpcbind-0.2.0-16.el6.x86_64
nfs-utils-1.2.3-78.el6_10.1.x86_64 [root@nfs-31 mnt]# /etc/init.d/rpcbind status
rpcbind 已停
[root@nfs-31 mnt]# /etc/init.d/rpcbind start
正在启动 rpcbind： [确定] [root@nfs-31 mnt]# /etc/init.d/nfs status
rpc.svcgssd 已停
rpc.mountd 已停
nfsd 已停
rpc.rquotad 已停
[root@nfs-31 mnt]# /etc/init.d/nfs start
启动 NFS 服务： [确定]
关掉 NFS 配额： [确定]
启动 NFS mountd： [确定]
启动 NFS 守护进程： [确定]
正在启动 RPC idmapd： [确定] [root@nfs-31 mnt]# chkconfig --list rpcbind
rpcbind 0:关闭 1:关闭 2:启用 3:启用 4:启用 5:启用 6:关闭
[root@nfs-31 mnt]# chkconfig --list nfs
nfs 0:关闭 1:关闭 2:启用 3:启用 4:启用 5:启用 6:关闭 [root@nfs-31 mnt]# tail -3 /etc/rc.local # chkconfig和/etc/rc.local的配置二选一即可。
# start up nfs service
/etc/init.d/rpcbind start
/etc/init.d/nfs start # 创建需要共享的目录并授权
mkdir /data -p
grep nfsnobody /etc/passwd
chown -R nfsnobody.nfsnobody /data
ls -ld /data # 配置NFS服务配置文件，并且在本地查看挂载信息
[root@nfs-31 mnt]# cat /etc/exports
# shared /data by zoe for test at 20191205
/data 192.168.0.0/24(rw,sync) [root@nfs-31 mnt]# exportfs -rv # 加载配置，可以用来检查配置文件是否合法
exporting 192.168.0.0/24:/data # 在NFS服务器本地查看挂载情况
showmount -e 192.168.0.31
showmount -e localhost # 通过查看nfs服务器配置文件的参数（包括默认加载的参数）
[root@nfs-31 mnt]# cat /var/lib/nfs/etab
/data 192.168.0.0/24(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,no_all_squash,no_subtree_check,secure_locks,acl,anonuid=65534,anongid=65534,sec=sys,rw,root_squash,no_all_squash)
在本地服务器端，同时又作为客户端进行挂载测试：
[root@nfs-31 mnt]# mount -t nfs 192.168.0.31:/data /mnt
[root@nfs-31 mnt]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda3 6.9G 1.9G 4.7G 28% /
tmpfs 499M 0 499M 0% /dev/shm
/dev/sda1 190M 67M 114M 37% /boot
192.168.0.31:/data 6.9G 1.9G 4.7G 28% /mnt
成功将nfs的共享目录挂载在/mnt目录下。
【NFS客户端】
在所有的NFS客户端上执行的操作都是相同的。
# 系统环境
[root@backup-41 ~]# cat /etc/redhat-release
CentOS release 6.10 (Final)
[root@backup-41 ~]# uname -r
2.6.32-573.el6.x86_64
[root@backup-41 ~]# uname -m
x86_64 # 检查安装包
[root@backup-41 ~]# rpm -qa rpcbind
rpcbind-0.2.0-16.el6.x86_64
# 为了使用showmount等功能，所有客户端最好也安装NFS软件，但不启动NFS服务
rpm -qa nfs-utils # 启动rpc服务（不需要启动NFS服务）
[root@backup-41 ~]# /etc/init.d/rpcbind status
rpcbind is stopped
[root@backup-41 ~]# /etc/init.d/rpcbind start
Starting rpcbind: [ OK ] [root@backup-41 ~]# showmount -e 192.168.0.31
Export list for 192.168.0.31:
/data 192.168.0.0/24 # 挂载NFS共享目录/data
[root@backup-41 ~]# mount -t nfs 192.168.0.31:/data /mnt
[root@backup-41 ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda3 6.9G 1.9G 4.7G 28% /
tmpfs 499M 0 499M 0% /dev/shm
/dev/sda1 190M 67M 114M 37% /boot
192.168.0.31:/data 6.9G 1.9G 4.7G 28% /mnt # 测试
[root@backup-41 mnt]# cd /mnt
[root@backup-41 mnt]# ls
[root@backup-41 mnt]# mkdir /mnt/backup/rpcbind/test -p
[root@backup-41 mnt]# ls
backup file # 在nfs服务端查看共享目录/data
[root@nfs-31 mnt]# ls /data
backup file
将rpcbind服务和挂载加入开机自启动：
[root@backup-41 mnt]# tail -3 /etc/rc.local
# rpcbind start and mount shared directory ip:/data
/etc/init.d/rpcbind start
/bin/mount -t nfs 192.168.0.31:/data /mnt
2.3 Rsync服务的部署
部署过程详情参见：https://www.cnblogs.com/zoe233/p/11962110.html
本节可以将nfs的备份数据统一放在某个模块下，所以可以通过修改配置文件/etc/rsyncd.conf添加模块
[root@backup-41 192.168.0.8]# tail -20 /etc/rsyncd.conf ignore errors
read only = false
list = false
hosts allow = 192.168.0.31/24
hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password ######
[backup]
path = /backup/ [multi_module_1]
path = /multi_module_1/ [nfsbackup]
path = /nfsbackup/ ## rsync_config____end ##
在配置文件里添加模块[nfsbackup]。
注意：多个模块的信息相同的，可以统一放在模块上方，如ignore errors等参数。
重启rsync --daemon服务。
[root@backup-41 192.168.0.8]# pkill rsync
[root@backup-41 192.168.0.8]# lsof -i tcp:873
[root@backup-41 192.168.0.8]# rsync --daemon
[root@backup-41 192.168.0.8]# lsof -i tcp:873
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
rsync 16317 root 3u IPv4 211440 0t0 TCP *:rsync (LISTEN)
rsync 16317 root 5u IPv6 211441 0t0 TCP *:rsync (LISTEN)
根据新模块nfsbackup的配置要求，创建/nfsbackup目录，以及设置目录的属主和属组。
[root@backup-41 192.168.0.8]# mkdir /nfsbackup -p
[root@backup-41 192.168.0.8]# chown -R rsync.rsync /nfsbackup
[root@backup-41 192.168.0.8]# ll -d /nfsbackup/
drwxr-xr-x 2 rsync rsync 4096 Dec 12 13:00 /nfsbackup/
2.4 inotify
inotify的具体内容查看：https://www.cnblogs.com/zoe233/p/12035383.html
2.4.1 inotify安装
查看当前系统是否支持inotify
[root@nfs-31 data]# uname -r
2.6.32-573.el6.x86_64
[root@nfs-31 data]# ls -l /proc/sys/fs/inotify/
total 0
-rw-r--r-- 1 root root 0 Dec 12 18:59 max_queued_events
-rw-r--r-- 1 root root 0 Dec 12 18:59 max_user_instances
-rw-r--r-- 1 root root 0 Dec 12 18:59 max_user_watches # 显示这三个文件则证明支持inotify
安装inotify软件：
[root@nfs-31 inotify]# rpm -qa inotify-tools
[root@nfs-31 inotify]# yum install inotify-tools -y # Error: Nothing to do
安装失败，用wget获取源，再用yum安装：
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo
yum -y install inotify-tools
[root@nfs-31 inotify]# rpm -qa inotify-tools
inotify-tools-3.14-2.el6.x86_64
一共安装了2个工具，即inotifywait和inotifywatch。
- inotifywait：在被监控的文件或目录上等待特定文件系统事件（open，close，delete等）发生，执行后处于阻塞状态，适合shell脚本中使用。
- inotifywatch：收集被监视的文件系统使用度统计数据，指文件系统事件发生的次数统计。
2.4.2 inotifywatch命令
比较重要的参数的含义：
| inotifywait参数 | 含义说明 |
|---|---|
| -r --recursive | 递归查询目录 |
| -q --quiet | 打印很少的信息，仅仅打印监控事件的信息 |
| -m，--monitor | 始终保持事件监听状态 |
| --exclude | 排除文件或目录时，不区分大小写。 |
| --timefmt | 指定时间输出的格式 |
| --format | 打印使用指定的输出类似格式字符串 |
| -e，--event | 通过此参数可以指定需要监控的事件，如下一个列表所示 |
-e，--event 事件的各种事件含义：
| Events | 含义 |
|---|---|
| access | 文件或目录被读取 |
| modify | 文件或目录内容被修改 |
| attrib | 文件或目录属性被改变 |
| close | 文件或目录封闭，无论读/写模式 |
| open | 文件或目录被打开 |
| moved_to | 文件或目录被移动至另外一个目录 |
| move | 文件或目录被移动到另一个目录或从另一个目录移动至当前目录 |
| create | 文件或目录被创建在当前目录 |
| delete | 文件或目录被删除 |
| umount | 文件系统被卸载 |
--format 的格式意义：
- %w 发生事件的监视文件的名称
- This will be replaced with the name of the Watched file on which an event occurred.
- %f 当一个事件发生在一个目录中时，它将被替换为导致该事件发生的文件名。否则，将替换为空字符串。
- When an event occurs within a directory, this will be replaced with the name of the File which caused the event to occur. Otherwise, this will be replaced with an empty string.
- %e 发生的事件，以逗号分隔。
- Replaced with the Event(s) which occurred, comma-separated.
- %Xe 发生的事件，用“X”中的任何字符分隔。
- Replaced with the Event(s) which occurred, separated by whichever character is in the place of ‘X’.
- %T 替换为--timefmt选项指定格式的当前时间，该格式字符串应适合传递给strftime（3）。
- Replaced with the current Time in the format specified by the --timefmt option, which should be a format string suitable for passing to strftime(3).
2.4.3 人工测试同步
开启两个窗口
测试create事件
在第一个窗口开启inotifywait，监听/backup目录：
[root@nfs-31 inotify]# inotifywait -mrq --timefmt '%y/%m/%d %H:%M' --format '%T %w%f' -e create /backup
# 命令说明：
# -mrq：-m 实时监听，-r递归监控整个目录，包括子目录，-q 只输出简短信息
# --timefmt：指定输出的时间格式
# --format：输出输出的格式
# -e create：指定监控的事件类型，监控创建create事件
第二个窗口，进入/backup目录，创建两个文件，触发create事件
[root@nfs-31 backup]# cd /backup
[root@nfs-31 backup]# touch inotifywait_create_event_1
[root@nfs-31 backup]# touch inotifywait_create_event_2
触发事件后，查看第一个窗口会发现，屏幕输出了创建事件的内容（时间和创建的文件路径加名称）
[root@nfs-31 inotify]# inotifywait -mrq --timefmt '%y/%m/%d %H:%M' --format '%T %w%f' -e create /backup
19/12/12 19:26 /backup/inotifywait_create_event_1
19/12/12 19:41 /backup/inotifywait_create_event_2
2.4.4 编写inotify实时监控脚本
[root@nfs-31 /]# cd /server/scripts
[root@nfs-31 scripts]# ls
backup.sh
[root@nfs-31 scripts]# vi inotifywait_nfs_to_backup.sh
[root@nfs-31 scripts]# cat inotifywait_nfs_to_backup.sh
#!/bin/bash Path=/data
backup_Server=192.168.0.41 /usr/bin/inotifywait -mrq --format '%w%f' -e close_write,delete $Path|while read line
do
if [ -f $line ];then
rsync -az $line --delete rsync_backup@$backup_Server::nfsbackup --password-file=/etc/rsync.password
else
cd $Path &&\
rsync -az ./ --delete rsync_backup@$backup_Server::nfsbackup --password-file=/etc/rsync.password
fi
done
脚本可以加入开机启动：
echo "/bin/sh /server/scripts/inotifywait_nfs_to_backup.sh &" >> /etc/rc.local
提示：
一个& 代表从后台开始运行该条命令