NFS生产环境部署调优
1、NFS简介
NFS(Network File System)即网络文件系统，是FreeBSD支持的文件系统中的一种，它允许网络中的计算机之间共享资源。在NFS的应用中，本地NFS的客户端应用可以透明地读写位于远端NFS服务器上的文件，就像访问本地文件一样。
NFS主要分为服务端和客户端，服务端需要配置rpcbind和NFS服务并启动，客户端只需启动rpcbind服务无需部署NFS客户端，rpcbind系统默认都是启动的。
2、NFS服务端部署
2.1 检查rpcbind
[root@100 ~]# rpm -qa|grep rpcbind
rpcbind-0.2.0-49.el7.x86_64
如果没有就需要安装一下
[root@100 ~]# service rpcbind status
Redirecting to /bin/systemctl status rpcbind.service
● rpcbind.service - RPC bind service
Loaded: loaded (/usr/lib/systemd/system/rpcbind.service; enabled; vendor preset: enabled)
Active: active (running) since Wed 2021-07-28 10:41:38 CST; 1 day 4h ago
Process: 3488 ExecStart=/sbin/rpcbind -w $RPCBIND_ARGS (code=exited, status=0/SUCCESS)
Main PID: 3508 (rpcbind)
CGroup: /system.slice/rpcbind.service
└─3508 /sbin/rpcbind -w
Jul 28 10:41:37 100 systemd[1]: Starting RPC bind service...
Jul 28 10:41:38 100 systemd[1]: Started RPC bind service.
2.2 检查nfs服务
默认已安装
[root@100 ~]# rpm -qa|grep nfs
nfs-utils-1.3.0-0.68.el7.x86_64
libnfsidmap-0.25-19.el7.x86_64
2.3 创建共享目录
[root@100 ~]# mkdir /share
2.4 配置exports
[root@100 ~]# vim /etc/exports
/share 10.4.7.*(rw,sync,no_root_squash)
使配置生效
[root@100 ~]# exportfs -r
注释：
/share：表示共享的目录
10.4.7.*：表示允许访问NFS服务的客户端地址网段
(rw,sync,no_root_squash)：客户端权限
权限说明：
rw：read-write，可读写，注意仅仅这里设置成读写客户端还不能正常读写，还要正确的配置共享目录的权限才可以；
ro：read-only，只读权限；
sync：文件通知写入硬盘和内存；
Async：文件暂时存于内存，不直接写入内存；
no_root_squash：NFS客户端使用root连接时，对于共享目录也具有root权限（不安全）；
root_squash：NFS客户端使用root用户连接时，对于共享目录具有匿名用户的权限；
all_squash：不论客户端使用什么身份连接，对共享目录都只拥有匿名用户的权限；
anonuid：匿名用户的UID值，这个UID的值必须真实存在于/etc/passwd中一般与all_squash一起使用；
anongid：匿名用户的GID值
2.5 启动nfs并加入开机自启
[root@100 ~]# systemctl start nfs
[root@100 ~]# systemctl enable nfs
Created symlink from /etc/systemd/system/multi-user.target.wants/nfs-server.service to /usr/lib/systemd/system/nfs-server.service.
[root@100 ~]# systemctl status nfs
● nfs-server.service - NFS server and services
Loaded: loaded (/usr/lib/systemd/system/nfs-server.service; disabled; vendor preset: disabled)
Active: active (exited) since Thu 2021-07-29 16:18:25 CST; 51s ago
Process: 6926 ExecStartPost=/bin/sh -c if systemctl -q is-active gssproxy; then systemctl reload gssproxy ; fi (code=exited, status=0/SUCCESS)
Process: 6909 ExecStart=/usr/sbin/rpc.nfsd $RPCNFSDARGS (code=exited, status=0/SUCCESS)
Process: 6907 ExecStartPre=/usr/sbin/exportfs -r (code=exited, status=0/SUCCESS)
Main PID: 6909 (code=exited, status=0/SUCCESS)
CGroup: /system.slice/nfs-server.service
Jul 29 16:18:25 100 systemd[1]: Starting NFS server and services...
Jul 29 16:18:25 100 systemd[1]: Started NFS server and services.
2.6 修改主机名映射
[root@100 ~]# vim /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
10.4.7.100 nfs_server
[root@100 ~]# hostnamectl set-hostname nfs_server
注意，nfs会根据主机名进行鉴别，如果未设置主机名映射可能会出现如下报错
[root@100 ~]# showmount -e
clnt_create: RPC: Port mapper failure - Unable to send: errno 22 (Invalid argument)
2.7 自检服务
查看共享目录和允许被访问的客户端
[root@100 ~]# showmount -e
Export list for nfs_server:
/share 10.4.7.*
查看哪些客户端挂载了
[root@100 ~]# showmount -a
All mount points on nfs_server:
3、客户端连接
3.1 查看客户端rpcbind服务
[root@101 ~]# rpm -qa|grep rpcbind
rpcbind-0.2.0-49.el7.x86_64
[root@101 ~]#
[root@101 ~]# systemctl status rpcbind
● rpcbind.service - RPC bind service
Loaded: loaded (/usr/lib/systemd/system/rpcbind.service; enabled; vendor preset: enabled)
Active: active (running) since Thu 2021-07-29 13:53:07 CST; 2h 38min ago
Process: 850 ExecStart=/sbin/rpcbind -w $RPCBIND_ARGS (code=exited, status=0/SUCCESS)
Main PID: 860 (rpcbind)
CGroup: /system.slice/rpcbind.service
└─860 /sbin/rpcbind -w
Jul 29 13:53:06 101 systemd[1]: Starting RPC bind service...
Jul 29 13:53:07 101 systemd[1]: Started RPC bind service.
3.2 查看连接NFS服务端的权限
[root@101 ~]# showmount -e 10.4.7.100
Export list for 10.4.7.100:
/share 10.4.7.*
3.3 创建挂载目录
[root@101 ~]# mkdir /client
3.4 测试连接及挂载方式
[root@101 ~]# mount -t nfs 10.4.7.100:/share /client
[root@101 ~]# cd /client/
[root@101 client]# mkdir test1
查看信息
[root@101 /]# mount|grep nfs
sunrpc on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw,relatime)
10.4.7.100:/share on /client type nfs4 (rw,relatime,vers=4.1,rsize=131072,wsize=131072,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=10.4.7.101,local_lock=none,addr=10.4.7.100)
只有nfs3版本才可以使用-a查看正在挂载的挂载点
使用nfsstat可以查看系统可以使用的nfs的版本及详情
[root@100 ~]# nfsstat
[root@101 ~]# umount /client
[root@101 ~]# mount -t nfs -o nfsvers=3 10.4.7.100:/share /client
[root@101 ~]# mount|grep nfs
10.4.7.100:/share on /client type nfs (rw,relatime,vers=3,rsize=131072,wsize=131072,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=10.4.7.100,mountvers=3,mountport=20048,mountproto=udp,local_lock=none,addr=10.4.7.100)
[root@101 ~]# showmount -a 10.4.7.100
All mount points on 10.4.7.100:
10.4.7.101:/share
测试读写情况
[root@101 ~]# cd /client/
[root@101 client]# mkdir test1
[root@101 client]# echo 222 > test1/2
[root@101 client]# ls
test test1
[root@101 client]# cat test/a
test
测试没问题，退出
[root@101 ~]# umount /client
4、生产优化
4.1 nfs端口优化
NFS端口的分配有下面三种：
- TCP/UDP 111 – RPC 4.0 portmapper；
- TCP/UDP 2049 – NFSD (nfs server)；
- Mount端口—系统 RPC服务在 nfs服务启动时默认会为 mountd动态选取一个随机端口（32768--65535）来进行通讯，我们可以在/etc/sysconfig/nfs文件中定义端口。
生产环境中由于不同网段之前都会被网络个隔开，所以我们主机之间调用服务时都需要开通特定端口的网络策略，但是nfs连接使用的都是随机端口，无法开通策略。所以统一网段可以进行mount挂载，但是不同网段可能会出现如下报错：
rpc mount export: RPC: Timed out
最大的可能就是网络不通，所以我们需要固定nfs的连接端口
编辑配置文件，固定端口
vim /etc/sysconfig/nfs
RQUOTAD_PORT=6005
LOCKD_TCPPORT=6004
LOCKD_UDPPORT=6004
MOUNTD_PORT=6002
STATD_PORT=6003
STATD_OUTGOING_PORT=6006
重启nfs服务
[root@100 ~]# systemctl restart nfs
开通对应的网络策略（客户端到服务端的111/2049/6002-6006以及111/2049的UDP端口）后测试mount挂载
4.2 优化权限
生产环境中使用root用户连接是不安全的，所以我们需要配置只允许特定的用户和用户组进行访问
nfs服务端配置优化
[root@100 ~]# vim /etc/exports
/share 10.4.7.*(rw,sync,all_squash,anonuid=1010,anongid=1010)
注释：
- all_squash：表示所有客户端登录后都会被映射为匿名用户；
- anonuid=1010：表示匿名用户的uid=1010；
- anongid=1010：表示匿名用户的gid=1010。
只需要重新生效一下，不需要重启nfs服务
[root@100 ~]# exportfs -r
客户端挂载后测试
[root@101 ~]# mount -t nfs 10.4.7.100:/share /client
[root@101 ~]# cd /client/
[root@101 client]# ls
test test1
[root@101 client]# mkdir 2
mkdir: cannot create directory ‘2’: Permission denied
权限分析：
已知目前服务端与客户端都有wyg这个用户，且uid=1000，gid=1000
[root@100 ~]# id wyg
uid=1000(wyg) gid=1000(wyg) groups=1000(wyg)
之所以Permission denied是因为共享文件的目录权限是wyg的为uid=1000，gid=1000
[root@100 /]# ll|grep share
drwxr-xr-x 4 wyg wyg 31 Aug 2 11:28 share
需要修改服务端的wyg用户为1010
[root@100 ~]# usermod -u 1010 wyg
[root@100 share]# groupmod -g 1010 wyg
[root@100 share]# id wyg
uid=1010(wyg) gid=1010(wyg) groups=1010(wyg)
[root@100 /]# chown -R wyg:wyg /share/
客户端重新挂载
[root@101 ~]# umount /client
[root@101 ~]# mount -t nfs 10.4.7.100:/share /client
先用root测试
[root@101 client]# mkdir 1
[root@101 client]# ll
total 0
drwxr-xr-x 2 1010 1010 6 Aug 2 17:13 1
drwxr-xr-x 2 1010 1010 6 Aug 2 17:03 test
drwxr-xr-x 2 1010 1010 15 Aug 2 11:27 test1
再用wyg测试
[root@101 client]# su - wyg
Last login: Mon Aug 2 17:03:01 CST 2021 on pts/0
[wyg@101 ~]$
[wyg@101 ~]$ cd /client/
[wyg@101 client]$ ls
1 test test1
[wyg@101 client]$
[wyg@101 client]$ mkdir 2
[wyg@101 client]$ ll
total 0
drwxr-xr-x 2 1010 1010 6 Aug 2 17:13 1
drwxrwxr-x 2 1010 1010 6 Aug 2 17:15 2
drwxr-xr-x 2 1010 1010 6 Aug 2 17:03 test
drwxr-xr-x 2 1010 1010 15 Aug 2 11:27 test1
发现他们创建的文件夹的属性都是uid=1010，gid=1010
生产上本地服务一般都用普通用户启动，为防止本服务调用共享目录数据时无权限，所以客户端的wyg普通用户也应该和服务端的wyg属性保持一致
修改客户端wyg的属性
[root@101 client]# usermod -u 1010 wyg
[root@101 client]# groupmod -g 1010 wyg
[root@101 client]# ll /client/
total 0
drwxr-xr-x 2 wyg wyg 6 Aug 2 17:13 1
drwxrwxr-x 2 wyg wyg 6 Aug 2 17:15 2
drwxr-xr-x 2 wyg wyg 6 Aug 2 17:03 test
drwxr-xr-x 2 wyg wyg 15 Aug 2 11:27 test1
总结：
nfs挂载后用的都是/etc/exports中设置的gid和uid，所以共享目录的gid和uid属性必须和/etc/exports中设置的一样，不然会有权限问题；
服务端和客户端不一定要有对应的gid和uid用户，但是为方便管理，服务端和客户端都有同样的用户，并且用户的uid和gid相同，/etc/exports配置成普通用户的权限
4.3 加入开机自动挂载
[root@101 ~]# vim /etc/fstab
10.4.7.100:/share /client nfs defaults,_rnetdev 0 0
注释：
- ,_rnetdev表示主机无法挂载直接跳过，避免无法挂载造成主机无法启动；
- 第一个0表示不备份文件系统；
- 第二个0表示不检测磁盘。
5、参考文档
NFS服务的端口分配 - 追忆丶年华 - 博客园
https://www.cnblogs.com/xiaoleiel/p/8340406.html
NFS各个版本之间的比较_ycnian-CSDN博客_nfsv3和nfsv4的区别
https://blog.csdn.net/ycnian/article/details/8515517
nfs不同版本的挂载与解析 - Linux运维 - 运维网 - iyunv.com
https://www.iyunv.com/thread-404799-1-1.html
