NFS 共享存储实战

时间:2022-09-17 13:57:18

NFS 共享存储实战

一、NFS概述

共享存储,文件服务器

NFS是Network File System的缩写及网络文件系统。NFS主要功能是通过局域网络让不同的主机系统之间可以共享文件或目录。NFS系统和Windows网络共享、网络驱动器类似, 只不过windows用于局域网, NFS用于企业集群架构中, 如果是大型网站, 会用到更复杂的分布式文件系统FastDFS,glusterfs,HDFS,ceph

1.为什么要使用共享存储

  • 1.实现多台服务器之间数据共享*

  • 2.实现多台服务器之间数据一致*

2.集群没有共享存储的情况

  • 1.A用户上传图片经过负载均衡,负载均衡将上传请求调度至WEB1服务器上。*

  • 2.B用户访问A用户上传的图片,此时B用户被负载均衡调度至WEB2上,因为WEB2上没有这张图片,所以B用户无法看到A用户传的图片。*

    NFS 共享存储实战

** 2.集群有共享存储***

  • 1.A用户上传图片无论被负载均衡调度至WEB1还是WEB2, 最终数据都被写入至共享存储*

  • 2.B用户访问A用户上传图片时,无论调度至WEB1还是WEB2,最终都会上共享存储访问对应的文件,这样就可以访问到资源了*

    NFS 共享存储实战

3.NFS的工作原理

  • 1.用户进程访问NFS客户端,使用不同的函数对数据进行处理*

  • 2.NFS客户端通过TCP/IP的方式传递给NFS服务端。*

  • 3.NFS服务端接收到请求后,会先调用portmap进程进行端口映射。*

  • 4.nfsd进程用于判断NFS客户端是否拥有权限连接NFS服务端。*

  • 5.Rpc.mount进程判断客户端是否有对应的权限进行验证。*

  • 6.idmap进程实现用户映射和压缩7.最后NFS服务端会将对应请求的函数转换为本地能识别的命令,传递至内核,由内核驱动硬件。*

    NFS 共享存储实战

二、NFS部署

环境准备

主机名 角色 外网IP 内网IP
backup nfs的客户端 10.0.0.41 172.16.1.41
nfs nfs的服务端 10.0.0.31 172.16.1.31
web01 nfs的客户端 10.0.0.7 172.16.1.7

关闭防火墙和selinux

#1.关闭Firewalld防火墙
[root@nfs ~]# systemctl disable firewalld
[root@nfs ~]# systemctl stop firewalld #2.关闭selinux防火墙
[root@nfs ~]# sed -ri '#^SELINUX=#cSELINUX=Disabled' /etc/selinux/config
[root@nfs ~]# setenforce 0

1.部署nfs服务端

yum -y install nfs-utils rpcbind

2.启动rpcbind

#启动rpcbind
[root@nfs01 ~]# systemctl start rpcbind
#添加开机自启
[root@nfs01 ~]# systemctl enable rpcbind (系统默认开机自启)

3.测端口和进程

[root@nfs01 ~]# ps -ef|grep rpc
rpc 11746 1 0 01:12 ? 00:00:00 /sbin/rpcbind -w
root 11750 11421 0 01:15 pts/1 00:00:00 grep --color=auto rpc [root@nfs01 ~]# netstat -lntup|grep 111
tcp 0 0 0.0.0.0:111 0.0.0.0:* LISTEN 1/systemd
tcp6 0 0 :::111 :::* LISTEN 1/systemd
udp 0 0 0.0.0.0:111 0.0.0.0:* 1/systemd
udp6 0 0 :::111 :::* 1/systemd

4.编辑配置文件

NFS 共享存储实战

[root@nfs01 ~]# vim /etc/exports
/data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666) (统一修改uid为666,gid为666)
目录 共享目录 读写,参数

配置场景

将nfs服务端的/data目录共享给172.16.1.0/24网段内的所有主机

  1. 所有客户端主机都拥有读写权限
  2. 在将数据写入到NFS服务器的硬盘中后才会结束操作,最大限度保证数据不丢失
  3. 将所有用户映射为本地的匿名用户(nfsnobody)
#NFS客户端地址与权限之间没有空格
[root@nfs ~]# vim /etc/exports
/data 172.16.1.0/24(rw,sync,all_squash)

5.设置开机自启

在使用NFS服务进行文件共享之前,需要使用RPC(Remote Procedure Call远程过程调用服务将NFS服务器的IP地址和端口号信息发送给客户端。因此,在启动NFS服务之前,需要先重启并启用rpcbind服务程序,同时都加入开机自启动

#加入开机自启
[root@nfs ~]# systemctl enable rpcbind nfs-server #启动服务
[root@nfs ~]# systemctl restart rpcbind nfs-server #检测端口
[root@nfs ~]# netstat -lntup #检测文件
[root@nfs ~]# cat /var/lib/nfs/etab

6.创建/data目录

[root@nfs01 html]# groupadd www -g 666
[root@nfs01 html]# useradd www -u 666 -g 666
[root@nfs01 data]# mkdir /data
[root@nfs01 data]# chown -R www.www /data
#NFS共享目录会记录至/var/lib/nfs/etab,如果该目录不存在共享信息,请检查/etc/exports是否配置错误

7.启动NFS

[root@nfs01 ~]# systemctl start nfs-server

部署NFS客户端backup和web01

yum install -y rpcbind nfs-utils

1.启动rpcbind

#只启动rpcbind
[root@web01 ~]# systemctl start rpcbind
[root@backup ~]# systemctl start rpcbind

2.查看可挂载点

[root@backup ~]# showmount -e 172.16.1.31   (要用到showmount所以要安装nfs)

3.挂载目录

[root@backup ~]# mount -t nfs 172.16.1.31:/data /backup
挂载的是nfs类型的
df -h 可查看,多出来18G
cd /backup (可查看目录,但里面没内容,这个是远端的目录)

4.挂载拓展:

如果希望NFS文件共享服务能一直有效,则需要将其写入到fstab文件中

#编辑fstab文件
[root@nfs-client ~]# vim /etc/fstab
172.16.1.31:/data /nfsdir nfs defaults 0 0 #验证fstab是否写正确
[root@nfs-client ~]# mount -a

如果不希望使用NFS共享, 可进行卸载

[root@nfs-client ~]# umount /nfsdir 

#注意:卸载的时候如果提示”umount.nfs: /nfsdir: device is busy”
#1.切换至其他目录, 然后在进行卸载。
#2.NFS Server宕机, 强制卸载umount -lf /nfsdir

在企业工作场景,通常情况NFS服务器共享的只是普通静态数据(图片、附件、视频),不需要执行suid、exec等权限,挂载的这个文件系统只能作为数据存取之用,无法执行程序,对于客户端来讲增加了安全性。例如: 很多木马篡改站点文件都是由上传入口上传的程序到存储目录。然后执行的。

#通过mount -o指定挂载参数,禁止使用suid,exec,增加安全性能
[root@nfs-client ~]# mount -t nfs -o nosuid,noexec,nodev 172.16.1.31:/data /mnt

有时也需要考虑性能相关参数[可选]

#通过mount -o指定挂载参数,禁止更新目录及文件时间戳挂载
[root@nfs-client ~]# mount -t nfs -o noatime,nodiratime 172.16.1.31:/data /mnt

统一web、nfs、backup的用户权限

---------------------------------修改WEB和backup一样的-----------------------------------
#创建www用户和组
[root@backup html]# groupadd www -g 666
[root@backup html]# useradd www -u 666 -g 666
yum install -y httpd php #修改httpd的配置文件
vim /etc/httpd/conf/httpd.conf
User www
Group www [root@backup html]# systemctl restart httpd (重启)

代码部署步骤

1.安装服务,httpd(apache)和php

yum install -y httpd php

2.查找httpd的站点目录

[root@web01 html]# rpm -ql httpd|grep html    (查找站点目录)
[root@web01 html]# rz windows-提交作业代码.zip
[root@web01 html]# yum install -y unzip
[root@web01 html]# unzip windows-提交作业代码.zip

3.修改上传目录

[root@backup ~]# vim /var/www/html/upload_file.php
$wen="/var/www/html/tupian";

共享挂载

[root@backup ~]# df -h
[root@backup ~]# mount -t nfs 172.16.1.31:/data /var/www/html/

4.启动服务

systemctl restart httpd

三、NFS配置详解

执行man exports命令,然后切换到文件结尾,可以快速查看如下样例格式:

nfs共享参数 参数作用
rw* 读写权限
ro 只读权限
root_squash 当NFS客户端以root管理员访问时,映射为NFS服务器的匿名用户(不常用)
no_root_squash 当NFS客户端以root管理员访问时,映射为NFS服务器的root管理员(不常用)
all_squash 无论NFS客户端使用什么账户访问,均映射为NFS服务器的匿名用户(常用)
no_all_squash 无论NFS客户端使用什么账户访问,都不进行压缩
sync* 同时将数据写入到内存与硬盘中,保证不丢失数据
async 优先将数据保存到内存,然后再写入硬盘;这样效率更高,但可能会丢失数据
anonuid* 配置all_squash使用,指定NFS的用户UID,必须存在系统
anongid* 配置all_squash使用,指定NFS的用户UID,必须存在系统

1.服务端修改rw为ro参数

[root@nfs ~]# cat /etc/exports
/data 172.16.1.0/24(ro,sync,all_squash)
[root@nfs ~]# systemctl restart nfs-server

2.客户端验证

[root@nfs-client ~]# mount -t nfs 172.16.1.31:/data /mnt
[root@nfs-client ~]# df -h
Filesystem Size Used Avail Use% Mounted on
172.16.1.31:/data 98G 1.7G 97G 2% /mnt # 发现无法正常写入文件
[root@backup mnt]# touch file
touch: cannot touch ‘file’: Read-only file system

3.NFS服务端配置

[root@nfs ~]# cat /etc/exports
/data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)

4.服务端需要创建对应的用户

[root@nfs ~]# groupadd -g 666 www
[root@nfs ~]# useradd -u 666 -g 666 www
[root@nfs ~]# id www
uid=666(www) gid=666(www) groups=666(www)

5重载nfs-server

[root@nfs ~]# systemctl restart nfs-server
[root@nfs ~]# cat /var/lib/nfs/etab
/data 172.16.1.0/24(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,all_squash,no_subtree_check,secure_locks,acl,no_pnfs,anonuid=666,anongid=666,sec=sys,secure,root_squash,all_squash)

6.授权共享目录为www

[root@nfs ~]# chown -R www.www /data/
[root@nfs ~]# ll -d /data/
drwxr-xr-x 3 www www 53 Sep 3 02:08 /data/

7.客户端验证

[root@backup ~]# umount /mnt/
[root@backup ~]# mount -t nfs 172.16.1.31:/data /mnt

8.客户端查看到的文件,身份是666

[root@backup ~]# ll /mnt/
drwxr-xr-x 2 666 666 6 Sep 3 02:08 rsync_dir
-rw-r--r-- 1 666 666 0 Sep 3 02:08 rsync_file

9.客户端依旧能往/mnt目录下写文件

[root@backup mnt]# touch fff
[root@backup mnt]# mkdir 111
[root@backup mnt]# ll
drwxr-xr-x 2 666 666 6 Sep 3 03:05 111
-rw-r--r-- 1 666 666 0 Sep 3 03:05 fff

10.建议:将客户端也创建一个uid为666,gid为666,统一身份,避免后续出现权限不足的情况

[root@backup mnt]# groupadd -g 666 www
[root@backup mnt]# useradd -g 666 -u 666 www
[root@backup mnt]# id www
uid=666(www) gid=666(www) groups=666(www)

11.最后检查文件的身份

[root@backup mnt]# ll /mnt/
total 4
drwxr-xr-x 2 www www 6 Sep 3 03:05 111
-rw-r--r-- 1 www www 0 Sep 3 03:05 fff

NFS存储小结

1.NFS存储优点

1)NFS文件系统简单易用、方便部署、数据可靠、服务稳定、满足中小企业需求。2)NFS文件系统内存放的数据都在文件系统之上,所有数据都是能看得见。

2.NFS存储局限

1)存在单点故障, 如果构建高可用维护麻烦web->nfs()->backup2)NFS数据明文, 并不对数据做任何校验。3)客户端挂载NFS服务没有密码验证, 安全性一般(内网使用)

3.NFS应用建议

1)生产场景应将静态数据尽可能往前端推, 减少后端存储压力2)必须将存储里的静态资源通过CDN缓存jpg\png\mp4\avi\css\js3)如果没有缓存或架构本身历史遗留问题太大, 在多存储也无用

四、NFS案例实践

准备3台虚拟机服务器,并且请按照要求搭建配置NFS服务。NFS服务端(A)NFS客户端(B)NFS客户端(C)1.在NFS服务端(A)上共享/data/w(可写)及/data/r(只读)2.在NFS客户端(B/C)上进行挂载

环境准备

服务器系统 角色 IP
CentOS 7.5 NfsServer(A) 172.16.1.31
CentOS 7.5 NfsClient(B) 172.16.1.41
CentOS 7.5 NfsClient(C) 172.16.1.7

1.NFS服务端配置

#1.安装nfs
[root@nfs01 ~]# yum install -y nfs-utils #2.配置nfs
[root@nfs01 ~]# cat /etc/exports
/data/r 172.16.1.0/24(ro,sync,all_squash,anonuid=666,anongid=666)
/data/w 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666) #3.创建对应用户
[root@web01 ~]# groupadd -g 666 www
[root@web01 ~]# useradd -u 666 -g www www
[root@nfs01 ~]# id www
uid=666(www) gid=666(www) groups=666(www) #4.创建共享目录
[root@nfs01 ~]# mkdir /data/{r,w} -p
[root@nfs01 ~]# chown -R www.www /data/
//5.重启NFS
[root@nfs01 ~]# systemctl restart rpcbind nfs-server

2.NFS-客户端配置

#1.安装nfs工具
[root@backup-41 ~]# yum install nfs-utils -y
[root@backup-41 ~]# systemctl restart rpcbind #2.准备本地挂载点目录
[root@backup-41 ~]# mkdir /data/{r,w} -p #3.准备对应用户
[root@backup-41 ~]# groupadd -g 666 www
[root@backup-41 ~]# useradd -u 666 -g www www
[root@backup-41 ~]# id www
uid=666(www) gid=666(www) groups=666(www) #4.查看远端共享的nfs目录
[root@backup-41 ~]# showmount -e 172.16.1.31
Export list for 172.16.1.31:
/data/w 172.16.1.0/24
/data/r 172.16.1.0/24 #5.挂载对应目录站点
[root@backup-41 ~]# mount -t nfs 172.16.1.31:/data/w /data/w/
[root@backup-41 ~]# mount -t nfs 172.16.1.31:/data/r /data/r/
[root@backup-41 ~]# df -h
Filesystem Size Used Avail Use% Mounted on
172.16.1.31:/data/w 50G 1.6G 49G 4% /data/w
172.16.1.31:/data/r 50G 1.6G 49G 4% /data/r #6.测试/data/r读权限
[www@backup-41 r]$ pwd
/data/r
[www@backup-41 r]$ cat edu.com
This is Nfs to Oldboy
[www@backup-41 r]$ touch edu
touch: cannot touch ‘edu’: Read-only file system #7.测试/data/w写权限
[root@backup-41 r]# cd /data/w/
[root@backup-41 w]# pwd
/data/w
[root@backup-41 w]# touch bbbback
[root@backup-41 w]# ll
total 0
-rw-r--r-- 1 www www 0 Jul 26 09:22 backup_w
-rw-r--r-- 1 www www 0 Jul 26 09:26 bbbback #8.实现开机自动挂载
[root@backup-41 ~]# echo "172.16.1.31:/data/r /data/r nfs defaults 0 0" >>/etc/fstab
[root@backup-41 ~]# echo "172.16.1.31:/data/w /data/w nfs defaults 0 0" >>/etc/fstab #注意: 当将远程挂载设备写入/etc/fstab文件后,一定要执行mount -a
[root@backup-41 ~]# mount -a
[root@backup-41 ~]# df -h
Filesystem Size Used Avail Use% Mounted on
172.16.1.31:/data/r 50G 1.6G 49G 4% /data/r
172.16.1.31:/data/w 50G 1.6G 49G 4% /data/w
#如果编写错误会有如下提示
[root@backup-41 ~]# mount -a
mount.nfs: access denied by server while mounting 172.16.1.31:/dataa/w #9.卸载nfs
#1.正常卸载
[root@backup-41 ~]# umount /data/w/
#2.强制卸载
[root@backup-41 ~]# umount -lf /data/w/

3.NFS扩展项

#1.扩展:无需重启NFS服务平滑加载配置文件
[root@nfs01 r]# cat /etc/exports
/data/r 172.16.1.0/24(ro)
/data/p 172.16.1.0/24(ro)
/data/w 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666) [root@nfs01 r]# exportfs -rv
exporting 172.16.1.0/24:/data/w
exporting 172.16.1.0/24:/data/p
exporting 172.16.1.0/24:/data/r #2.扩展:nfs客户端挂载参数
[root@backup-41 ~]# mount.nfs4 -o noatime,nodiratime,noexec,nodev,nosuid 172.16.1.31:/data/r /data/r/ #3.扩展:nfs客户端永久挂载参数
[root@backup-41 ~]# tail -2 /etc/fstab
172.16.1.31:/data/r /data/r nfs defaults,noatime,nodiratime,noexec,nodev,nosuid 0 0
172.16.1.31:/data/w /data/w nfs defaults,noatime,nodiratime,noexec,nodev,nosuid 0 0 #4.扩展:客户端检查挂载参数是否生效
[root@backup-41 ~]# mount
#等价于
[root@backup-41 ~]# cat /proc/mounts

NFS 共享存储实战的更多相关文章

  1. 生产场景NFS共享存储优化及实战

    生产场景NFS共享存储优化: 1.硬件:sas/ssd磁盘,买多块,raid0/raid10,网卡好 2.NFS服务器端优化加all_squash,async /backup/NFS 192.168. ...

  2. Linux架构之NFS共享存储1

    第35章 NFS共享存储 35.1 NFS基本概述 NFS是Network File System的缩写及网络文件系统.NFS主要功能是通过局域网络让不同的主机系统之间可以共享文件或目录. 常见的文件 ...

  3. Linux之nginx反向代理+三台web+nfs共享存储实现集群配置

    作业四:nginx反向代理+三台web+nfs共享存储实现集群配置 在各个web服务器上挂载nfs [root@localhost nginx]# mount -t nfs 192.168.152.1 ...

  4. 负载均衡LVS之DR(附:NFS共享存储) 五分钟搭建手册

    一:DR-模式 调度器Ip:192.168.1.254 服务器ip:192.168.1.1/192.168.1.2 VIP:192.168.1.10 ——配置负载均衡调度器: 关闭重定向响应配置: V ...

  5. 使用URLOS在linux系统中极速部署NFS共享存储服务

    如何在linux系统里搭建NFS服务?其实我们只需要安装一个URLOS面板,然后就能在3分钟内将NFS服务部署完成.近日,URLOS在应用市场中上架了一款NFS应用,它可以让我们的节点主机在3分钟内极 ...

  6. 基于NFS共享存储实现KVM虚拟机动态迁移

    基于NFS共享存储实现KVM虚拟机动态迁移 一:配置环境 二:安装相关的依赖包 三:实现NFS共享存储 四:KVM机配置相同的步骤 五:安装KVM01安装虚拟机 六:实现迁移  实验初始配置:所有主机 ...

  7. NFS 共享存储

    目录 环境准备 NFS服务端 NFS客户端 部署时常见报错 httpd服务 NFS 共享存储的坑 环境准备 主机名 WanIP(Wide Area Network) LanIP(Local Area ...

  8. NFS共享存储服务

    NFS共享存储服务                一.NFS共享                  1)NFS(Network File System)网络文件系统                   ...

  9. NFS共享存储服务 (如果厌倦了外面的生活,那就来我身边吧,帮我插秧)

    NFS共享存储服务     1.NFS概述 2.在服务器使用NFS发布共享资源 3.在客户机中访问NFS共享资源 1.NFS概述: NFS是一种基于TCP/IP传输的网络文件系统协议.通过使用NFS协 ...

随机推荐

  1. java类型占用字节数&类型转换

    1.整型类型              存储需求     bit数    取值范围      备注int                 4字节           4*8 short         ...

  2. Unique Binary Search Trees I & II

    Given n, how many structurally unique BSTs (binary search trees) that store values 1...n? Example Gi ...

  3. JSONP(处理跨域问题)

    Ajax直接请求普通文件存在跨域无权限访问的问题 凡是拥有"src"这个属性的标签都拥有跨域的能力,比如<script>.<img>.<iframe& ...

  4. 几种通讯协议的比较RMI &gt&semi; Httpinvoker &gt&semi;&equals; Hessian &gt&semi;&gt&semi; Burlap &gt&semi;&gt&semi; web service

    一.综述本文比较了RMI,Hessian,Burlap,Httpinvoker,web service等5种通讯协议的在不同的数据结构和不同数据量时的传输性能.RMI是java语言本身提供的远程通讯协 ...

  5. 利用IIS和Nginx实现负载均衡

    一直对Nginx反向代理和负载均衡感兴趣,今天在Windows下搭建了一个简单实例.步骤如下: 1.下载Nginx,我下载的是最新的1.11.10版本,地址http://nginx.org/downl ...

  6. WeMall微商城源码投票插件Vote的主要源码

    WeMall微信商城源码投票插件Vote,用于商城的签到系统,分享了部分比较重要的代码,供技术员学习参考 AdminController.class.php <?php namespace Ad ...

  7. Vijos 1002 过河 状态压缩DP

    描述 在河上有一座独木桥,一只青蛙想沿着独木桥从河的一侧跳到另一侧.在桥上有一些石子,青蛙很讨厌踩在这些石子上.由于桥的长度和青蛙一次跳过的距离都是正整数,我们可以把独木桥上青蛙可能到达的点看成数轴上 ...

  8. 从SAP顾问猝死事件谈顾问加班

    今天朋友圈盛传一则消息,说是南瑞集团的一名名为牛耕耘的SAP顾问因为工作强度大,连续不分昼夜加班而猝死在工作岗位上,遗留下年迈的父母.体弱的妻子.刚满周岁的孩子和巨额的债务.我无法证实该消息的真伪,但 ...

  9. ImageMagick命令行工具

    [ convert | identify | mogrify | composite | montage | compare | display | animate | import |conjure ...

  10. Django 模版语法

    一.简介 模版是纯文本文件.它可以产生任何基于文本的的格式(HTML,XML,CSV等等). 模版包括在使用时会被值替换掉的 变量,和控制模版逻辑的 标签. {% extends "base ...