Linux架构之NFS

目录

Linux架构之NFS

NFS基本概述:

什么是NFS:

NFS是Network File System的缩写及网络文件系统。NFS主要功能是通过局域网络让不同的主机系统之间可以共享文件和目录。基于TCP/IP传输的网络文件系统协议。

NFS系统和Windows网络共享、网络驱动器类似，只不过windows用于局域网，NFS用于企业集群架构中，如果是大型网站，会用到更复杂的分布式文件系统FastDFS，glusterfs，HDFS

NFS的原理:

  1. 用户访问NFS客户端，将请求转化为函数
  2. NFS通过TCP/IP连接服务端
  3. NFS服务端接收请求，会先调用portmap进程进行端口映射
  4. Rpc.nfsd进程用于判断NFS客户端能否连接服务端；
  5. Rpc.mount进程用于判断客户端对服务端的操作权限
  6. idmap进程实现用户映射和压缩
  7. 最后NFS服务端会将对应请求的函数转换为本地能识别的命令，传递至内核，由内核驱动硬件。

img

#端口映射:
端口映射就是将内网中的主机的一个端口映射到外网主机的一个端口，提供相应的服务。当用户访问外网IP的这个端口时，服务器自动将请求映射到对应局域网内部的机器上。

eg：我们在内网中有一台Web服务器，但是外网中的用户是没有办法直接访问该服务器的。于是我们可以在路由器上设置一个端口映射，只要外网用户访问路由器ip的80端口，那么路由器会把自动把流量转到内网Web服务器的80端口上。并且，在路由器上还存在一个Session，当内网服务器返回数据给路由器时，路由器能准确的将消息发送给外网请求用户的主机。在这过程中，路由器充当了一个反向代理的作用，他保护了内网中主机的安全。

NFS的使用要求:

NFS服务的实现依赖于RPC（远程过程调用）机制，以完成远程到本地的映射过程， 所以需要安装nfs-utils、rpcbind软件包来提供共享服务，前者用于NFS共享发布和访问，后者用于RPC支持。

服务端操作

#安装nfs服务
[root@nfs ~]yum install -y nfs-utils

##配置NFS服务端
[root@nfs ~]vim /etc/exports

# 共享目录 允许访问NFS服务端的网段 (可读可写,同步,任何用户都映射成nfs的匿名用户)
/data       172.16.1.0/24         (rw,sync,all_squash)

#创建共享目录
[root@nfs ~]# mkdir /data

## 修改共享目录的属主和属组为nfs的匿名用户
[root@nfs ~]# chown nfsnobody:nfsnobody /data

##启动服务
[root@nfs ~]# systemctl start nfs

## 加入开机自启
[root@nfs ~]# systemctl enable nfs

## 检查进程
[root@nfs ~]# ps -ef|grep nfs

## 检测配置文件是否生效
[root@nfs ~]# cat /var/lib/nfs/etab
/data	172.16.1.0/24(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,all_squash,no_subtree_check,secure_locks,acl,no_pnfs,anonuid=65534,anongid=65534,sec=sys,rw,secure,root_squash,all_squash)

nfs参数及其作用

NFS共享的常用参数： 
rw	            //读写权限(常用)
ro	            //只读权限(不常用)
root_squash	    //当NFS客户端以root管理员访问时，映射为NFS服务器的匿名用户(不常用)
no_root_squash	//当NFS客户端以root管理员访问时，映射为NFS服务器的root管理员(不常用)
all_squash	    //无论NFS客户端使用什么账户访问，均映射为NFS服务器的匿名用户(常用)
no_all_squash	//无论NFS客户端使用什么账户访问，都不进行压缩(不常用)
sync	        //同时将数据写入到内存与硬盘中，保证不丢失数据(常用)
async	        //优先将数据保存到内存，然后再写入硬盘，这样效率更高，但可能会丢失数据(不常用)
anonuid	        //配置all_squash使用，指定NFS的用户UID，必须存在系统(常用)
anongid	        //配置all_squash使用，指定NFS的用户GID，必须存在系统(常用)

客户端操作

# 1.安装nfs
[root@web01 ~]# yum install -y nfs-utils

# 2.查看哪些目录可以挂载
[root@web01 ~]# showmount -e 172.16.1.31

# 3.挂载共享目录
[root@web01 ~]# mount -t nfs 172.16.1.31:/data /opt

NFS共享存储实战

部署交作业的网站-统一用户

apache和nfs统一使用www用户uid是666 gid也是666

部署web

# 1.安装apache和php
[root@web01 ~]# yum install -y httpd php

#创建www用户
[root@web01 ~]# groupadd www -g 666
[root@web01 ~]# useradd www -u 666 -g 666 -s /sbin/nologin -M

#修改apache配置文件（启动用户）
[root@web01 ~]vim /etc/httpd/conf/httpd.conf
66 User www
67 Group www

#2.# 2.下载代码（到站点目录下）
[root@web01 html]# ll
-rw-r--r-- 1 root root 26927 May 18 09:33 kaoshi.zip
[root@web01 html]# pwd
/var/www/html

# 3.解压代码
[root@web01 html]# unzip kaoshi_modify.zip

# 4.启动apache服务添加开机自启
[root@web01 html]# systemctl start httpd
[root@web01 html~]# systemctl enable httpd

# 5.检查进程
[root@web01 html]# ps -ef|grep 'httpd'

# 6.端口检查
[root@web01 html]# netstat -lntup|grep httpd
tcp6 0 0 :::80 :::* LISTEN 21802/httpd

# 7.打开浏览器访问
http://10.0.0.7/

共享存储-服务端

# 1.安装nfs
[root@nfs ~]# yum install -y nfs-utils

# 2.创建www用户
[root@nfs ~]# groupadd www -g 666
[root@nfs ~]# useradd www -u 666 -g 666 -s /sbin/nologin -M

# 3.修改nfs配置文件
[root@nfs ~]# vim /etc/exports
/data 172.16.1.0/24(rw,sync,anonuid=666,anongid=666,all_squash)

# 4.创建共享目录
[root@nfs ~]# mkdir /data

# 5.授权共享目录
[root@nfs ~]# chown -R www.www /data

# 6.启动nfs服务
[root@nfs ~]# systemctl start nfs

# 7.检查进程
[root@nfs ~]# ps -ef|grep nfs

共享存储-客户端

# 1.查看挂载点
[root@web01 html]# showmount -e 172.16.1.3
Export list for 172.16.1.31:
/data 172.16.1.0/24

# 2.创建用户数据目录
[root@web01 html]# mkdir /var/www/html/user_data

# 3.挂载用户数据目录
[root@web01 html]# mount -t nfs 172.16.1.31:/data /var/www/html/user_data/

# 4.检查挂载点
[root@web02 html]# df -h
Filesystem Size Used Avail Use% Mounted on
172.16.1.31:/data 19G 1.4G 18G 8% /var/www/html/user_data

排错流程

# 1.网络问题
[root@web01 html]# showmount -e 172.16.1.31
[root@web01 html]# ping 172.16.1.31
1）不通
    - 检查网卡配置文件
    - 虚拟机物理网卡设置
    - 虚拟网络编辑器中的设置
2）通
    - 防火墙
    - selinux
    - 服务没有启动
    - 服务启动了，但是配置没有生效 cat /var/lib/nfs/etab

# 2.权限问题
1）服务端权限
    - 配置文件
    [root@nfs ~]# cat /etc/exports/
    data172.16.1.0/24(rw,sync,anonuid=666,anongid=666,all_squash)
	
	- 共享目录权限
	[root@nfs ~]# ll -d /data/
	drwxr-xr-x 2 www www 28 May 19 10:40 /data/
	
	- 用户信息
	[root@nfs html]# id www
	uid=666(www) gid=666(www) groups=666(www)
	
2）客户端权限
    - 站点目录权限
    [root@web01 html]# ll /var/www/html/ -d
    drwxr-xr-x 3 www www 119 May 19 10:38 /var/www/html/

	- 用户上传数据的目录权限
	[root@web01 html]# ll /var/www/html/user_data/ -d
	drwxr-xr-x 2 www www 28 May 19 10:40 /var/www/html/user_data/
	
	- apache配置文件中用户和组
	[root@web01 html]# grep -E '^User|^Group' /etc/httpd/conf/httpd.conf
	User www
	Group www
	
	- apache服务启动用户
	[root@web01 html]# ps -ef|grep [h]ttpd
	
	- 用户信息
	[root@web01 html]# id www
	uid=666(www) gid=666(www) groups=666(www)

	- 错误日志
	[root@web02 html]# tail -f /var/log/httpd/error_log

NFS其他选项操作

开机自动挂载

如果服务端或客户端的服务器重启之后需要手动挂载，我们可以加入到开机自动挂载

## 开机自动挂载配置文件
[root@web02 ~]# ll /etc/fstab
-rw-r--r--. 1 root root 501 May 12 19:20 /etc/fstab

## 设置开机自动挂载
[root@web02 ~]# vim /etc/fstab
172.16.1.31:/data /var/www/html/user_data nfs defaults 0 0
ps：第1个1表示备份文件系统，第2个1表示从/分区的顺序开始fsck磁盘检测，0表示不检测

## 检测配置是否有问题
[root@web02 ~]# mount -a

NFS卸载

## 卸载挂载目录
[root@web02 ~]# umount /var/www/html/user_data

## 报错：设备繁忙
umount.nfs4: /var/www/html/user_data: device is busy

## 强制卸载
[root@web02 ~]# umount -lf /var/www/html/user_data

增加安全与性能

在企业工作场景，通常情况NFS服务器共享的只是普通静态数据（图片、附件、视频），不需要执行suid、exec等权限，挂 载的这个文件系统只能作为数据存取之用，无法执行程序，对于客户端来讲增加了安全性。例如: 很多木马篡改站点文件都 是由上传入口上传的程序到存储目录。然后执行的。

#通过mount -o指定挂载参数，禁止使用suid，exec，增加安全性能
[root@nfs-client ~]# mount -t nfs -o nosuid,noexec,nodev 172.16.1.31:/data /mnt

#通过mount -o指定挂载参数，禁止更新目录及文件时间戳挂载
[root@nfs-client ~]# mount -t nfs -o noatime,nodiratime 172.16.1.31:/data /mnt

NFS存储小结

  1. NFS存储优点

    • NFS文件系统简单易用、方便部署、数据可靠、服务稳定、满足中小企业需求。

    • NFS文件系统内存放的数据都在文件系统之上，所有数据都是能看得见。

  2. NFS存储局限

    • 存在单点故障, 如果构建高可用维护麻烦web->nfs()->backup

    • NFS数据明文, 并不对数据做任何校验。

    • 客户端挂载NFS服务没有密码验证, 安全性一般(内网使用)

  3. NFS应用建议

    • 生产场景应将静态数据尽可能往前端推, 减少后端存储压力

    • 必须将存储里的静态资源通过CDN缓存jpg\png\mp4\avi\css\js

    • 如果没有缓存或架构本身历史遗留问题太大, 在多存储也无用

NFS+Rsync

环境准备

主机名 WanIP LanIP 角色 部署服务
web01 10.0.0.7 172.16.1.7 nfs客户端 httpd、php、nfs
web02 10.0.0.8 172.16.1.8 nfs客户端 httpd、php、nfs
nfs 10.0.0.31 172.16.1.31 rsync客户端、nfs服务端 nfs、rsync、inotify
backup 10.0.041 172.16.1.41 rsync服务端、nfs服务端(备机) nfs、rsync

部署rsync服务端(backup)

#关闭防火墙，关闭selinux，时间同步
systemctl stop firewalld
编辑文件 /etc/selinux/config,将selinux的值改成disable，然后重启生效（reboot）

#1.安装rsync
[root@backup ~]# yum install -y rsync

# 2.修改rsync的配置文件
[root@backup ~]# vim /etc/rsyncd.conf
uid = www
gid = www
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
#####################################
[nfs_backup]
comment = nfs_backup
path = /backup

[nfs_data]
comment = nfs_data
path = /data

# 3.创建www用户和组
[root@backup ~]# groupadd www -g 666
[root@backup ~]# useradd www -u 666 -g 666 -s /sbin/nologin -M

# 4.创建密码文件
[root@backup ~]# echo 'rsync_backup:123' > /etc/rsync.passwd

# 5.授权密码文件
[root@backup ~]# chmod 600 /etc/rsync.passwd

# 6.创建备份目录和实时同步目录
[root@backup ~]# mkdir /{backup,data}

# 7.授权备份目录和实时同步目录
[root@backup ~]# chown www.www /{backup,data}
[root@backup ~]# ll /backup/ /data/ -d

# 8.启动rsync并加入开机自启
[root@backup ~]# systemctl start rsyncd
[root@backup ~]# systemctl enable rsyncd

# 9.检查进程和端口
[root@backup ~]# ps -ef|grep [r]sync

[root@backup ~]# netstat -lntup|grep 873

部署rsync客户端(nfs)

# 1.安装rsync和inotify
[root@nfs ~]# yum install -y rsync inotify-tools

# 2.测试数据推送
[root@nfs ~]# rsync -avz /tmp/ rsync_backup@172.16.1.41::nfs_backup
[root@nfs ~]# rsync -avz /tmp/ rsync_backup@172.16.1.41::nfs_data

# 3.测试实时同步 写脚本
[root@nfs ~]# vim inotify.sh
#!/bin/bash
dir=/tmp
export RSYNC_PASSWORD=123
inotifywait -mrq --format '%w %f' -e create,delete,attrib,close_write $dir|while read
line;do
rsync -az --delete $dir rsync_backup@172.16.1.41::nfs_data
done &

部署nfs服务端(nfs、backup)

# 1.安装nfs服务
[root@nfs ~]# yum install -y nfs-utils

# 2.修改nfs配置文件
[root@nfs ~]# vim /etc/exports
/data 172.16.1.0/24(rw,sync,anonuid=666,anongid=666,all_squash)

# 3.创建www用户和组
[root@nfs ~]# groupadd www -g 666
[root@nfs ~]# useradd www -u 666 -g 666 -s /sbin/nologin -M

# 4.创建共享目录
[root@nfs ~]# mkdir /data

# 5.授权共享目录
[root@nfs ~]# chown www.www /data/

# 6.启动nfs服务并加入开机自启
[root@nfs ~]# systemctl start nfs
[root@nfs ~]# systemctl enable nfs

# 7.检查配置是否生效
[root@nfs ~]# cat /var/lib/nfs/etab

# 8.检查进程和端口
[root@nfs ~]# ps -ef|grep [n]fs
[root@nfs ~]# netstat -lntup

部署nfs客户端(web01、web02)

# 1.安装nfs
[root@web01 ~]# yum install -y nfs-utils

# 2.查看挂载点
[root@web01 ~]# showmount -e 172.16.1.31
Export list for 172.16.1.31:
/data 172.16.1.0/24
[root@web01 ~]# showmount -e 172.16.1.41
Export list for 172.16.1.41:
/data 172.16.1.0/24

# 3.测试挂载
[root@web01 ~]# mount -t nfs 172.16.1.41:/data /mnt
[root@web01 ~]# mount -t nfs 172.16.1.41:/data /media/

[root@web01 ~]# df -h
Filesystem Size Used Avail Use% Mounted on
172.16.1.31:/data 19G 1.4G 18G 8% /mnt
172.16.1.41:/data 19G 1.4G 18G 8% /media

部署web网站(web01、web02)

# 1.安装httpd和php
[root@web01 ~]# yum install -y httpd php

# 2.修改httpd的配置文件
[root@web01 ~]# vim /etc/httpd/conf/httpd.conf
User www
Group www

# 3.创建www用户和组
[root@web01 ~]# groupadd www -g 666
[root@web01 ~]# useradd www -u 666 -g 666 -s /sbin/nologin -M

# 4.部署代码
[root@web01 ~]# cd /var/www/html/
[root@web01 html]# unzip kaoshi_modify.zip

# 5.创建用户上传目录
[root@web01 html]# mkdir /var/www/html/user_data

# 6.授权用户上传数据目录
[root@web01 html]# chown www.www /var/www/html/user_data

# 7.启动httpd服务
[root@web01 html]# systemctl start httpd
[root@web01 html]# systemctl enable httpd

#8.挂载用户上传数据目录
[root@web01 html]# mount -t nfs 172.16.1.31:/data /var/www/html/user_data

实时同步(nfs)

# 1.编写实时同步脚本
[root@nfs ~]# vim inotify.sh
#!/bin/bash
dir=/data/
export RSYNC_PASSWORD=123
inotifywait -mrq --format '%w %f' -e create,delete,attrib,close_write $dir|while read
line;do
rsync -az --delete $dir rsync_backup@172.16.1.41::nfs_data
done &

每日备份

## 1.编写客户端备份脚本
[root@nfs ~]# cat backup.sh
#!/bin/bash
bak_dir="/client_backup"
data_dir="/data"
host_name=`hostname`
ip=`/usr/sbin/ifconfig eth1|awk 'NR==2{print $2}'`
date_time=`date +%F`
export RSYNC_PASSWORD=123

# 1.创建客户端的备份目录
mkdir -p $bak_dir

# 2.进入备份目录，压缩备份文件
cd $data_dir && \
tar zcf $bak_dir/${host_name}_${ip}_${date_time}.tar.gz .

# 3.生成校验文件
cd $bak_dir && \
md5sum ${host_name}_${ip}_${date_time}.tar.gz > ${host_name}_${ip}_${date_time}.md5

# 4.推送数据到rsync服务端
rsync -avz $bak_dir/ rsync_backup@172.16.1.41::nfs_backup

# 5.保留7天内的文件
find $bak_dir -type f ! -mtime -7|xargs rm -f

## 2.先配置邮箱
[root@backup ~]# yum install -y mailx
[root@backup ~]# vim /etc/mail.rc
set from=253097001@qq.com
set smtp=smtps://smtp.qq.com:465
set smtp-auth-user=253097001@qq.com
set smtp-auth-password=授权码
set smtp-auth=login
set ssl-verify=ignore
set nss-config-dir=/etc/pki/nssdb/

## 3.编写服务端脚本
[root@backup ~]# vim check_md5.sh
#!/bin/bash
bak_dir="/backup"
host_name=`hostname`
ip=`ifconfig eth1|awk 'NR==2{print $2}'`
date_time=`date +%F`
cd ${bak_dir} && \
md5sum -c *${date_time}.md5|mail -s "${date_time}_数据备份校验" 管理员邮箱 >/dev/null
find /backup -type f ! -mtime -180|xargs rm -f

## 4.编写定时任务
[root@nfs ~]# crontab -e
00 01 * * * /bin/sh /root/backup.sh &>/dev/null

sersync实时同步

sersync其实是利用inotify和rsync两种软件技术来实现数据实时同步功能的，inotify是用于监听sersync所在服务器上的文件变化，结合rsync软件来进行数据同步，将数据实时同步给客户端服务器。

同步的目的：

  • 解决单点故障
  • 保证数据的一致性

部署sersync(安装在客户端上)

#1.安装sersync的依赖
[root@nfs ~]# yum install -y rsync inotify-tools

#2.下载sersync
[root@nfs ~]# wget
http://test.driverzeng.com/other/sersync2.5.4_64bit_binary_stable_final.tar.gz

# 3.解压sersync
[root@nfs ~]# tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz -C /application/

#4.改名
[root@nfs ~]# mv /application/GNU-Linux-x86/ /application/sersync-2.5.4

修改sersync的配置文件

1.inotify监控动作配置

[root@nfs ~]# vim /application/sersync-2.5.4/confxml.xml

## 将下面内容都改成true
<inotify>
<delete start="true"/>
<createFolder start="true"/>
<createFile start="false"/>
<closeWrite start="true"/>
<moveFrom start="true"/>
<moveTo start="true"/>
<attrib start="false"/>
<modify start="false"/>
</inotify>

ps:需要监控的动作，ture代表监控，false不监控

2.监控的目录

<sersync>
<!-- 监控目录，推送数据的目录 /data -->
<localpath watch="/data">
<!-- rsync服务端的IP地址：172.16.1.41 和 模块名：nfs_data -->
<remote ip="172.16.1.41" name="nfs_data"/>
<!--<remote ip="192.168.8.39" name="tongbu"/>-->
<!--<remote ip="192.168.8.40" name="tongbu"/>-->
</localpath>
<rsync>
<!-- rsync命令执行时的选项 -->
<commonParams params="-az --delete"/>
<!-- rsync命令认证，打开认证，rsync匿名用户，密码文件 -->
<auth start="true" users="rsync_backup" passwordfile="/etc/rsync.pass"/>
<userDefinedPort start="false" port="874"/><!-- port=874 -->
<timeout start="false" time="100"/><!-- timeout=100 -->

# 7.创建密码文件
[root@nfs data]# echo '123' > /etc/rsync.pass

# 8.授权密码文件
[root@nfs data]# chmod 600 /etc/rsync.pass

# 9.启动sersync
[root@nfs sersync-2.5.4]# /application/sersync-2.5.4/sersync2 -rdo /application/sersync-2.5.4/confxml.xml
posted @ 2022-05-18 20:18  Gie  阅读(397)  评论(0)  编辑  收藏  举报