企业集群架构-03-NFS
NFS
目录
NFS基本概述
NFS是Network File System的缩写及网络文件系统。NFS主要功能是通过局域网络让不同的主机系统之间可以共享文件或目录。
NFS系统和Windows网络共享、网络驱动器类似, 只不过windows用于局域网, NFS用于企业集群架构中, 如果是大型网站, 会用到更复杂的分布式文件系统FastDFS,glusterfs,HDFS
为什么要使用共享存储？
1.实现多台服务器之间数据共享
2.实现多台服务器之间数据一致
NFS应用场景
集群没有共享存储
1.A用户上传图片经过负载均衡，负载均衡将上传请求调度至WEB1服务器上。
2.B用户访问A用户上传的图片，此时B用户被负载均衡调度至WEB2上，因为WEB2上没有这张图片，所以B用户无法看到A用户传的图片。
集群有共享存储
1.A用户上传图片无论被负载均衡调度至WEB1还是WEB2, 最终数据都被写入至共享存储
2.B用户访问A用户上传图片时，无论调度至WEB1还是WEB2，最终都会上共享存储访问对应的文件，这样就可以访问到资源了
NFS实现原理
Linux命令的本地调用实现方式--mkdir
1.当用户执行mkdir命令, 该命令会调用shell解释器翻译给内核。
2.内核解析完成后会驱动对应的硬件设备，完成相应的操作。
Linux命令的远程调用实现方式--nfs
1.用户进程访问NFS客户端，使用不同的函数对数据进行处理
2.NFS客户端通过TCP/IP的方式传递给NFS服务端。
3.NFS服务端接收到请求后，会先调用portmap进程进行端口映射。
4.nfsd进程用于判断NFS客户端是否拥有权限连接NFS服务端。
5.Rpc.mount进程判断客户端是否有对应的权限进行验证。
6.idmap进程实现用户映射和压缩
7.最后NFS服务端会将对应请求的函数转换为本地能识别的命令，传递至内核，由内核驱动硬件。
注意: nfs是基于远程过程调用rpc实现的，使用nfs必须有rpc服务
NFS总结
1.NFS存储优点
1）NFS文件系统简单易用、方便部署、数据可靠、服务稳定、满足中小企业需求。
2）NFS文件系统内存放的数据都在文件系统之上，所有数据都是能看得见。
2.NFS存储局限
1）存在单点故障， 如果构建高可用，维护麻烦web->nfs()->backup
2）NFS数据明文，并不对数据做任何校验。
3）客户端挂载NFS服务没有密码验证，安全性一般(内网使用)
3.NFS应用建议
1）生产场景应将静态数据尽可能往前端推， 减少后端存储压力
2）必须将存储里的静态资源通过CDN缓存jpg\png\mp4\avi\css\js
3）如果没有缓存或架构本身历史遗留问题太大，在多存储也无用
NFS服务端安装
环境准备
| 服务器系统 | 角色 | 外网IP | 内网IP |
|---|---|---|---|
| CentOS 7.5 | NFS服务端 | eth0:10.0.0.31 | eth1:172.16.1.31 |
| CentOS 7.5 | NFS客户端 | eth0:10.0.0.41 | eth1:172.16.1.41 |
注意: 不要忘记关闭防火墙, 以免默认的防火墙策略禁止正常的
NFS共享服务
关闭防火墙和安全增强
# 关闭 防火墙 Firewalld
[root@nfs ~]# systemctl disable firewalld
[root@nfs ~]# systemctl stop firewalld
# 关闭 安全增强型Linux selinux
[root@nfs ~]# sed -ri '#^SELINUX=#cSELINUX=Disabled' /etc/selinux/config
[root@nfs ~]# setenforce 0
服务端安装NFS
[root@nfs ~]# yum -y install nfs-utils
服务端NFS配置
NFS服务的配置文件为/etc/exports，需要严格按照共享目录的路径 允许访问的NFS客户端（共享权限参数）格式书写，定义要共享的目录与相应的权限，具体书写方式如下图所示。
配置案例
将nfs服务端的/data目录共享给172.16.1.0/24网段内的所有主机
- 所有客户端主机都拥有读写权限
- 在将数据写入到NFS服务器的硬盘中后才会结束操作，最大限度保证数据不丢失
- 将所有用户映射为本地的匿名用户(nfsnobody)
- 在NFS服务器上建立用于NFS文件共享的目录，并设置对应权限
[root@nfs ~]# mkdir /data
[root@nfs ~]# chown -R nfsnobody.nfsnobody /data
- 将NFS共享目录加入配置文件
/etc/exports
[root@nfs ~]# cat /etc/exports
/data 172.16.1.0/24(rw,sync,all_squash) # 注意:NFS客户端地址与权限之间没有空格
服务端开机自启
在使用NFS服务进行文件共享之前，需要使用RPC（Remote Procedure Call远程过程调用服务将NFS服务器的IP地址和端口号信息发送给客户端。因此，在启动NFS服务之前，需要先重启并启用rpcbind服务程序,同时都加入开机自启动
[root@nfs ~]# systemctl restart rpcbind nfs-server
[root@nfs ~]# systemctl enable rpcbind nfs-server
服务端验证配置
- 查看端口验证服务是否启动成功
[root@nfs ~]# netstat -4lntup | grep "rpc\|-"
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.0.0.0:39976 0.0.0.0:* LISTEN 24969/rpc.statd
tcp 0 0 0.0.0.0:46091 0.0.0.0:* LISTEN -
tcp 0 0 0.0.0.0:111 0.0.0.0:* LISTEN 25151/rpcbind
tcp 0 0 0.0.0.0:20048 0.0.0.0:* LISTEN 25155/rpc.mountd
tcp 0 0 0.0.0.0:2049 0.0.0.0:* LISTEN -
udp 0 0 0.0.0.0:111 0.0.0.0:* 25151/rpcbind
udp 0 0 0.0.0.0:57725 0.0.0.0:* -
udp 0 0 0.0.0.0:20048 0.0.0.0:* 25155/rpc.mountd
udp 0 0 0.0.0.0:47703 0.0.0.0:* 24969/rpc.statd
udp 0 0 0.0.0.0:732 0.0.0.0:* 25151/rpcbind
udp 0 0 127.0.0.1:977 0.0.0.0:* 24969/rpc.statd
udp 0 0 0.0.0.0:2049 0.0.0.0:* -
- 查看nfs共享目录记录表
/var/lib/nfs/etab，如果该目录不存在共享信息，请检查/etc/exports是否配置错误
[root@nfs ~]# cat /var/lib/nfs/etab
/data 172.16.1.0/24(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,all_squash,no_subtree_check,secure_locks,acl,no_pnfs,anonuid=65534,anongid=65534,sec=sys,rw,secure,root_squash,all_squash)
- 修改
/etc/exports文件后，服务端无需重启NFS服务平滑加载配置文件
[root@nfs ~]# exportfs -rv
exporting 172.16.1.0/24:/data/r
exporting 172.16.1.0/24:/data/w
NFS客户端挂载卸载
客户端安装NFS
nfs-utils依赖rpcbind，使用yum安装自动解决依赖，安装完成只需要启动rpc服务
[root@nfs-client ~]# yum -y install nfs-utils
[root@nfs-client ~]# systemctl restart rpcbind
[root@nfs-client ~]# systemctl enable rpcbind
客户端查看挂载源
客户端使用showmount -e查看远程服务器rpc提供的远程共享信息，其输出格式为“共享的目录名称 允许使用客户端地址”。
[root@nfs-client ~]# showmount -e 172.16.1.31
Export list for 172.16.1.31:
/data 172.16.1.0/24
客户端挂载
在NFS客户端创建一个挂载目录，使用mount命令并结合-t参数，指定要挂载的文件系统的类型，并在命令后面写上服务器的IP地址，以及服务器上的共享目录， 最后需要写上要挂载到本地系统(客户端)的目录。
[root@nfs-client ~]# mkdir /nfsdir
[root@nfs-client ~]# mount -t nfs 172.16.1.31:/data /nfsdir
查看挂载磁盘信息
[root@nfs-client ~]# df -h
Filesystem Size Used Avail Use% Mounted on
172.16.1.31:/data 19G 2.7G 17G 15% /nfsdir
查看挂载生效参数
[root@nfs-client ~]# cat /proc/mounts
#等价于
[root@nfs-client ~]# mount
172.16.1.31:/data on /data type nfs4 (rw,relatime,vers=4.1,rsize=262144,wsize=262144,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=172.16.1.41,local_lock=none,addr=172.16.1.31)
挂载成功后，可以在客户端在共享目录下如同本地目录一样操作
[root@nfs-client ~]# echo "nfs-client" >> /nfsdir/test.txt
[root@nfs-client ~]# cat /nfsdir/test.txt
nfs-client
挂载时指定nfs参数
[root@nfs-client ~]# mount.nfs4 -o noatime,nodiratime,noexec,nodev,nosuid 172.16.1.31:/data/r /data/r/
客户端开机挂载
如果希望NFS文件共享服务能一直有效，则需要将其写入到fstab文件中
[root@nfs-client ~]# vim /etc/fstab
172.16.1.31:/data /nfsdir nfs defaults 0 0
永久挂载时指定nfs参数
[root@nfs-client ~]# tail -2 /etc/fstab
172.16.1.31:/data/r /data/r nfs defaults,noatime,nodiratime,noexec,nodev,nosuid 0 0
172.16.1.31:/data/w /data/w nfs defaults,noatime,nodiratime,noexec,nodev,nosuid 0 0
验证/etc/fstab修改是否正确
[root@nfs-client ~]# umount /nfsdir
[root@nfs-client ~]# mount -a # 执行/etc/fstab中没有挂载的条目
[root@nfs-client ~]# df -h
客户端卸载
如果不希望使用NFS共享, 可进行卸载
[root@nfs-client ~]# umount /nfsdir
注意: 卸载的时候如果提示”
umount.nfs: /nfsdir: device is busy”
- 切换至其他目录, 然后在进行卸载。
- NFS Server宕机, 强制卸载
umount -lf /nfsdir
常见参数
安全参数
在企业工作场景，通常情况NFS服务器共享的只是普通静态数据（图片、附件、视频），不需要执行suid、exec等权限，挂载的这个文件系统只能作为数据存取之用，无法执行程序，对于客户端来讲增加了安全性。
例如: 很多木马篡改站点文件都是由上传入口上传的程序到存储目录。然后执行的。
# 通过mount -o指定挂载参数，禁止使用suid，exec，增加安全性能
[root@nfs-client ~]# mount -t nfs -o nosuid,noexec,nodev 172.16.1.31:/data /nfsdir
性能参数
# 通过mount -o指定挂载参数，禁止更新目录及文件修改时间(不必要)
[root@nfs-client ~]# mount -t nfs -o noatime,nodiratime 172.16.1.31:/data /nfsdir
NFS参数详解
执行man exports命令，查看General Options格式详细解释，在文件结尾可以快速查看EXAMPLE，如下样例：
| nfs共享参数 | 参数作用 |
|---|---|
| rw* | 读写权限 |
| ro | 只读权限 |
| root_squash | 当NFS客户端以root管理员访问时，映射为NFS服务器的匿名用户(不常用) |
| no_root_squash | 当NFS客户端以root管理员访问时，映射为NFS服务器的root管理员(不常用) |
| all_squash | 无论NFS客户端使用什么账户访问，均映射为NFS服务器的匿名用户(常用) |
| no_all_squash | 无论NFS客户端使用什么账户访问，都不进行压缩 |
| sync* | 同时将数据写入到内存与硬盘中，保证不丢失数据 |
| async | 优先将数据保存到内存，然后再写入硬盘；这样效率更高，但可能会丢失数据 |
| anonuid* | 配置all_squash使用,指定NFS的用户UID,必须存在系统 |
| anongid* | 配置all_squash使用,指定NFS的用户UID,必须存在系统 |
验证ro权限
- 服务端配置，修改参数rw为ro
[root@nfs ~]# cat /etc/exports
/data 172.16.1.0/24(ro,sync,all_squash)
[root@nfs ~]# systemctl restart nfs-server
- 客户端重新挂载
[root@nfs-client ~]# umount /nfsdir/
[root@nfs-client ~]# mount -t nfs 172.16.1.31:/data /nfsdir
[root@nfs-client ~]# df -h
Filesystem Size Used Avail Use% Mounted on
172.16.1.31:/data 98G 1.7G 97G 2% /mnt
- 客户端无法正常写入文件
[root@backup mnt]# touch file
touch: cannot touch ‘file’: Read-only file system
验证all_squash、anonuid、anongid权限
- 服务端配置
[root@nfs ~]# cat /etc/exports
/data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)
- 服务端需要创建对应用户uid为666，gid为666
[root@nfs ~]# groupadd -g 666 www
[root@nfs ~]# useradd -u 666 -g 666 www
[root@nfs ~]# id www
uid=666(www) gid=666(www) groups=666(www)
- 服务端重载nfs-server
[root@nfs ~]# systemctl restart nfs-server
[root@nfs ~]# cat /var/lib/nfs/etab
/data 172.16.1.0/24(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,all_squash,no_subtree_check,secure_locks,acl,no_pnfs,anonuid=666,anongid=666,sec=sys,secure,root_squash,all_squash)
- 服务端授权共享目录属主属组为www
[root@nfs ~]# chown -R www.www /data/
[root@nfs ~]# ll -d /data/
drwxr-xr-x 3 www www 53 Sep 3 02:08 /data/
- 客户端重新挂载
[root@backup ~]# umount /mnt/
[root@backup ~]# mount -t nfs 172.16.1.31:/data /nfsdir
- 客户端查看到的文件，身份是666
[root@backup ~]# ll /nfsdir/
drwxr-xr-x 2 666 666 6 Sep 3 02:08 rsync_dir
-rw-r--r-- 1 666 666 0 Sep 3 02:08 rsync_file
- 客户端依旧能往/nfsdir目录下写文件
[root@backup nfsdir]# touch fff
[root@backup nfsdir]# mkdir 111
[root@backup nfsdir]# ll
drwxr-xr-x 2 666 666 6 Sep 3 03:05 111
-rw-r--r-- 1 666 666 0 Sep 3 03:05 fff
- 建议：
- 客户端也创建一个uid为666，gid为666，统一身份，避免后续出现权限不足的情况
[root@backup nfsdir]# groupadd -g 666 www
[root@backup nfsdir]# useradd -g 666 -u 666 www
[root@backup nfsdir]# id www
uid=666(www) gid=666(www) groups=666(www)
- 检查文件的身份
[root@backup nfsdir]# ll /nfsdir/
total 4
drwxr-xr-x 2 www www 6 Sep 3 03:05 111
-rw-r--r-- 1 www www 0 Sep 3 03:05 fff
NFS案例
准备3台虚拟机服务器，并且请按照要求搭建配置NFS服务。
NFS服务端（A）
NFS客户端（B）
NFS客户端（C）
1.在NFS服务端(A)上共享/data/w(可写)及/data/r(只读)
2.在NFS客户端(B/C)上进行挂载
环境准备
| 服务器系统 | 角色 | IP |
|---|---|---|
| CentOS 7.5 | NfsServer(A) | 172.16.1.31 |
| CentOS 7.5 | NfsClient(B) | 172.16.1.41 |
| CentOS 7.5 | NfsClient(C) | 172.16.1.7 |
1.NFS服务端配置
# 1.安装nfs
[root@nfs ~]# yum -y install nfs-utils
# 2.配置nfs
[root@nfs ~]# cat /etc/exports
/data/r 172.16.1.0/24(ro,sync,all_squash,anonuid=666,anongid=666)
/data/w 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)
# 3.创建对应用户
[root@nfs ~]# groupadd -g 666 www
[root@nfs ~]# useradd -u 666 -g www www
[root@nfs ~]# id www
uid=666(www) gid=666(www) groups=666(www)
# 4.创建共享目录
[root@nfs ~]# mkdir /data/{r,w} -p
[root@nfs ~]# chown -R www.www /data/
# 5.重启NFS
[root@nfs ~]# systemctl restart rpcbind nfs-server
2.NFS客户端配置
# 1.安装nfs工具
[root@backup ~]# yum -y install nfs-utils
[root@backup ~]# systemctl restart rpcbind
# 2.准备本地挂载点目录
[root@backup ~]# mkdir /data/{r,w} -p
# 3.准备对应用户
[root@backup ~]# groupadd -g 666 www
[root@backup ~]# useradd -u 666 -g www www
[root@backup ~]# id www
uid=666(www) gid=666(www) groups=666(www)
# 4.查看远端共享的nfs目录
[root@backup ~]# showmount -e 172.16.1.31
Export list for 172.16.1.31:
/data/w 172.16.1.0/24
/data/r 172.16.1.0/24
# 5.挂载对应目录站点
[root@backup ~]# mount -t nfs 172.16.1.31:/data/w /data/w/
[root@backup ~]# mount -t nfs 172.16.1.31:/data/r /data/r/
[root@backup ~]# df -h
Filesystem Size Used Avail Use% Mounted on
172.16.1.31:/data/w 19G 2.7G 17G 15% /data/w
172.16.1.31:/data/r 19G 2.7G 17G 15% /data/r
# 6.测试/data/r读权限
[root@backup ~]# cd /data/r
[root@backup r]# pwd
/data/r
[root@backup r]# cat README
This is Nfs Only Read
[root@backup r]# touch edu
touch: cannot touch ‘edu’: Read-only file system
# 7.测试/data/w写权限
[root@backup r]# cd /data/w/
[root@backup w]# pwd
/data/w
[root@backup w]# touch README
[root@backup w]# ll
total 0
-rw-r--r-- 1 www www 0 Sep 2 14:52 README
# 8.实现开机自动挂载
[root@backup ~]# echo "172.16.1.31:/data/r /data/r nfs defaults 0 0" >>/etc/fstab
[root@backup ~]# echo "172.16.1.31:/data/w /data/w nfs defaults 0 0" >>/etc/fstab
# 9.测试开机自动挂载
[root@backup-41 ~]# mount -a
[root@backup-41 ~]# df -h
Filesystem Size Used Avail Use% Mounted on
172.16.1.31:/data/r 50G 1.6G 49G 4% /data/r
172.16.1.31:/data/w 50G 1.6G 49G 4% /data/w
# 如果编写错误会有如下提示
[root@backup-41 ~]# mount -a
mount.nfs: access denied by server while mounting 172.16.1.31:/dataa/w
# 或者
mount.nfs: mount point /dataa/w does not exist
# 10.卸载nfs挂载
# 10.1.正常卸载
[root@backup ~]# umount /data/r
[root@backup ~]# umount /data/w
# 10.2.强制卸载
[root@backup ~]# umount -lf /data/r
[root@backup ~]# umount -lf /data/w
nfs-utils常用命令
[root@nfs ~]# rpm -ql nfs-utils | grep bin
/sbin/mount.nfs - mount a Network File System
/sbin/mount.nfs4 - mount a Network File System
/sbin/rpc.statd - NSM service daemon
/sbin/umount.nfs - unmount a Network File System
/sbin/umount.nfs4 - unmount a Network File System
/usr/sbin/exportfs - 维护NFS文件系统出口表
/usr/sbin/mountstats - 显示各种NFS客户端每次挂载的统计信息
/usr/sbin/nfsstat - list NFS statistics
/usr/sbin/rpc.gssd - RPCSEC_GSS daemon
/usr/sbin/rpc.mountd - NFS mount daemon
/usr/sbin/rpc.nfsd - NFS server process
/usr/sbin/showmount - show mount information for an NFS server
... ...
exportfs -r [-v]
-r 重新导出所有目录，将/var/lib/nfs/etab与/etc/exports和/etc/exports.d下的文件同步。
删除/var/lib/nfs/etab中已从/etc/exports.d下的文件中删除的条目，
并从内核导出表中删除任何不再有效的条目。
-v 冗长输出，显示详细信息
exportfs [-avi] [-o options,..] [client:/path ..]
exportfs [-av] -u [client:/path ..]
-a 导出或取消导出所有目录.
-u 取消导出一个或多个目录。
-o options,... same as exports 指定nfs参数
-i 忽略/etc/exports文件和/etc/exports.d目录下的文件。
只使用默认选项和命令行中给定的选项。
相关文件:
/etc/exports 列出导出、导出选项和访问控制列表的输入文件
/etc/exports.d 存储额外输入文件的目录。注意：只使用以.exports结尾的文件.
/var/lib/nfs/etab 出口主表
/var/lib/nfs/rmtab 访问服务器出口的客户端表
mount.nfs remotetarget dir [-rvVwfnsh ] [-o options] (remote target 远程目标)
-o options,... 指定挂载参数
-r Mount file system readonly.
-w Mount file system read-write.
-v 冗长输出，显示详细信息
-f 假挂载
-n 不更新/etc/mtab
-s 容忍草率的安装选项而不是失败
相关文件:
/etc/fstab file system table
/etc/mtab table of mounted file systems
/etc/nfsmount.conf Configuration file for NFS mounts
