rsync+notify实时同步
rsync+notify实时同步
简介
rsync与传统的cp、tar备份方式相比，rsync具有安全性高、备份迅速、支持增量备份等优点，通过rsync可以解决对实时性要求不高的数据备份需求，例如定期的备份文件服务器数据到远端服务器，对本地磁盘定期做数据镜像等。
随着应用系统规模的不断扩大，对数据的安全性和可靠性也提出的更好的要求，rsync在高端业务系统中也逐渐暴露出了很多不足，首先，rsync同步数据时，需要扫描所有文件后进行比对，进行差量传输。如果文件数量达到了百万甚至千万量级，扫描所有文件将是非常耗时的。而且正在发生变化的往往是其中很少的一部分，这是非常低效的方式。其次，rsync不能实时的去监测、同步数据，虽然它可以通过linux守护进程的方式进行触发同步，但是两次触发动作一定会有时间差，这样就导致了服务端和客户端数据可能出现不一致，无法在应用故障时完全的恢复数据。基于以上原因，rsync+inotify组合出现了！
Inotify是一种强大的、细粒度的、异步的文件系统事件监控机制，linux内核从2.6.13起，加入了Inotify支持，通过Inotify可以监控文件系统中添加、删除，修改、移动等各种细微事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools就是这样的一个第三方软件。
在前面有讲到，rsync可以实现触发式的文件同步，但是通过crontab守护进程方式进行触发，同步的数据和实际数据会有差异，而inotify可以监控文件系统的各种变化，当文件有任何变动时，就触发rsync同步，这样刚好解决了同步数据的实时性问题。
原理
Inotify只需要部署在同步的源服务器上；
当监控的文件有变化触动 rsync脚本来同步。
实验：
环境说明：
| 服务器类型 | 主机名 | IP地址 | 安装的应用 | 系统版本 |
|---|---|---|---|---|
| 源服务器 | node1 | 192.168.110.12 | rsync inotify-tools | redhat 8 |
| 目标服务器 | node2 | 192.168.110.13 | rsync | redhat 8 |
目标
- 本次需要把源服务器上/opt目录实时同步到目标服务器的/opt/下
要求
- 实时同步目录
- 开机实时同步功能自动启动
准备工作：
关闭防火墙，安装应用
//node1
#关闭防火墙和selinux
[root@node1 ~]# systemctl disable --now firewalld
Removed /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@node1 ~]# sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
[root@node1 ~]# setenforce 0
#安装rsync命令,inotify-tools工具
[root@node1 ~]# yum -y install rsync
[root@node2 ~]# yum -y install inotify-tools
//node2
#关闭防火墙和selinux
[root@node2 ~]# systemctl disable --now firewalld
Removed /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@node2 ~]# sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
[root@node2 ~]# setenforce 0
#安装rsync命令
[root@node2 ~]# yum -y install rsync
创建测试文件
//node1
#创建test1-3目录
[root@node1 opt]# pwd
/opt
[root@node1 opt]# mkdir test{1..3}
[root@node1 opt]# ls
test1 test2 test3
#在test1-3的每一个目录下写入file1-3
[root@node1 opt]# touch test1/file{1..3} test2/file{1..3} test3/file{1..3}
[root@node1 opt]# tree .
.
├── test1
│ ├── file1
│ ├── file2
│ └── file3
├── test2
│ ├── file1
│ ├── file2
│ └── file3
└── test3
├── file1
├── file2
└── file3
3 directories, 9 files
开始部署
配置目标服务器
//node2
#编辑rsyncd.conf配置文件
[root@node2 ~]# vim /etc/rsyncd.conf
log file = /var/log/rsyncd.log
pidfile = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
secrets file = /etc/rsync.pass
[etc_from_client]
path = /opt/
comment = sync etc from client
uid = root
gid = root
port = 873
ignore errors
use chroot = no
read only = no
list = no
max connections = 200
timeout = 600
auth users = admin
#创建用户认证文件
# $RANDOM表示随机数
[root@node2 ~]# echo "admin:$RANDOM" > /etc/rsync.pass
[root@node2 ~]# cat /etc/rsync.pass
admin:11196 //记住这个免密，等下需要在源服务器上用到
#设置文件权限
[root@node2 ~]# chmod 600 /etc/rsync*
[root@node2 ~]# ll /etc/rsync*
-rw-------. 1 root root 396 May 11 17:48 /etc/rsyncd.conf
-rw-------. 1 root root 12 May 11 17:49 /etc/rsync.pass
#启动rsync服务
[root@node2 ~]# rsync --daemon
[root@node2 ~]# ss -antl
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN 0 5 0.0.0.0:873 0.0.0.0:*
LISTEN 0 128 0.0.0.0:22 0.0.0.0:*
LISTEN 0 5 [::]:873 [::]:*
LISTEN 0 128 [::]:22 [::]:*
配置源服务器
//node2
#创建认证密码文件，密码是刚在在目标服务器种生成的密码
[root@node1 ~]# echo '11196' > /etc/rsync.pass
[root@node1 ~]# cat /etc/rsync.pass
11196
#设置密码文件权限，只设置文件所有者具有读取、写入权限即可
[root@node1 ~]# chmod 600 /etc/rsync.pass
[root@node1 ~]# ll /etc/rsync.pass
-rw-------. 1 root root 6 May 11 19:12 /etc/rsync.pass
测试
//node2
#查看node2的opt文件
[root@node2 ~]# ls /opt/
//node1
#执行命令
[root@node1 ~]# rsync -avH --port 873 --progress --delete /opt admin@192.168.110.13::etc_from_client --password-file=/etc/rsync.pass
sending incremental file list
opt/
opt/test1/
opt/test1/file1
0 100% 0.00kB/s 0:00:00 (xfr#1, to-chk=8/13)
opt/test1/file2
0 100% 0.00kB/s 0:00:00 (xfr#2, to-chk=7/13)
opt/test1/file3
0 100% 0.00kB/s 0:00:00 (xfr#3, to-chk=6/13)
opt/test2/
opt/test2/file1
0 100% 0.00kB/s 0:00:00 (xfr#4, to-chk=5/13)
opt/test2/file2
0 100% 0.00kB/s 0:00:00 (xfr#5, to-chk=4/13)
opt/test2/file3
0 100% 0.00kB/s 0:00:00 (xfr#6, to-chk=3/13)
opt/test3/
opt/test3/file1
0 100% 0.00kB/s 0:00:00 (xfr#7, to-chk=2/13)
opt/test3/file2
0 100% 0.00kB/s 0:00:00 (xfr#8, to-chk=1/13)
opt/test3/file3
0 100% 0.00kB/s 0:00:00 (xfr#9, to-chk=0/13)
sent 600 bytes received 211 bytes 1,622.00 bytes/sec
total size is 0 speedup is 0.00
//node2
#执行成功，node2上的opt目录下有node1的opt文件
[root@node2 ~]# ls /opt/
opt
[root@node2 ~]# cd /opt/
[root@node2 opt]# ls
opt
[root@node2 opt]# tree
.
└── opt
├── test1
│ ├── file1
│ ├── file2
│ └── file3
├── test2
│ ├── file1
│ ├── file2
│ └── file3
└── test3
├── file1
├── file2
└── file3
4 directories, 9 files
使用inodify实时触发rsync进行同步
//node1
#查看服务器内核是否支持inotify,如果有这三个max开头的文件则表示服务器内核支持inotify
[root@node1 ~]# ll /proc/sys/fs/inotify/
total 0
-rw-r--r--. 1 root root 0 May 11 16:15 max_queued_events
-rw-r--r--. 1 root root 0 May 11 16:15 max_user_instances
-rw-r--r--. 1 root root 0 May 11 16:15 max_user_watches
#编写同步脚本
[root@node1 ~]# vim /scripts/inotify.sh
#/bin/bash
host=192.168.110.13 # 目标服务器的ip(备份服务器)
src=/opt # 在源服务器上所要监控的备份目录（此处可以自定义，但是要保证存在）
des=etc_from_client # 自定义的模块名，需要与目标服务器上定义的同步名称一致
password=/etc/rsync.pass # 执行数据同步的密码文件
user=admin # 执行数据同步的用户名
inotifywait=/usr/bin/inotifywait
$inotifywait -mrq --timefmt '%Y%m%d %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $src \
| while read files;do
rsync -avzP --delete --timeout=100 --password-file=${password} $src $user@$host::$des
echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
done
#设置脚本权限755
[root@node1 ~]# chmod 755 /scripts/inotify.sh
[root@node1 ~]# ll /scripts/inotify.sh
-rwxr-xr-x. 1 root root 431 May 11 18:45 /scripts/inotify.sh
#启动脚本
#nohub command & ：后台运行，关掉终端程序不会停止，还会继续运行
[root@node1 ~]# nohup bash /scripts/inotify.sh &
[1] 14937
[root@node1 ~]# nohup: ignoring input and appending output to 'nohup.out'
（直接回车）
#查看后台运行程序
[root@node1 ~]# ps -ef | grep inotify
root 14937 14902 0 19:56 pts/2 00:00:00 bash /scripts/inotify.sh
root 14938 14937 0 19:56 pts/2 00:00:00 /usr/bin/inotifywait -mrq --timefmt %Y%m%d %H:%M --format %T %w%f%e -e modify,delete,create,attrib /opt
root 14939 14937 0 19:56 pts/2 00:00:00 bash /scripts/inotify.sh
root 14941 14902 0 19:56 pts/2 00:00:00 grep --color=auto inotify
测试
//node1
#在opt下创建一个新目录test4
[root@node1 ~]# mkdir /opt/test4
[root@node1 ~]# ls /opt/
test1 test2 test3 test4
//node2
#查看一下，成功实时同步
[root@node2 opt]# pwd
/opt
[root@node2 opt]# tree
.
└── opt
├── test1
│ ├── file1
│ ├── file2
│ └── file3
├── test2
│ ├── file1
│ ├── file2
│ └── file3
├── test3
│ ├── file1
│ ├── file2
│ └── file3
└── test4
5 directories, 9 files
设置脚本文件开机自启动
//node1
#添加到rc.local文件中
[root@node1 ~]# chmod +x /etc/rc.d/rc.local
[root@node1 ~]# ll /etc/rc.d/rc.local
-rwxr-xr-x. 1 root root 510 May 12 09:13 /etc/rc.d/rc.local
[root@node1 ~]# echo 'nohup /bin/bash /scripts/inotify.sh' >> /etc/rc.d/rc.local
[root@node1 ~]# tail /etc/rc.d/rc.local
#
# In contrast to previous versions due to parallel execution during boot
# this script will NOT be run after all other services.
#
# Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure
# that this script will be executed during boot.
touch /var/lock/subsys/local
nohup /bin/bash /scripts/inotify.sh //添加了这一行
设置rsync开机自启动service文件
//node2
#配置rsyncd.service启动文件
[root@node2 ~]# vim /usr/lib/systemd/system/rsyncd.service
[Unit]
Description=fast remote file copy program daemon
ConditionPathExists=/etc/rsyncd.conf
[Service]
EnvironmentFile=/etc/sysconfig/rsyncd
ExecStart=/usr/bin/rsync --daemon --no-detach
[Install]
WantedBy=multi-user.target
#创建rsyncd文件，给service文件调用
[root@node2 ~]# touch /etc/sysconfig/rsyncd
#重读一下文件
[root@node2 ~]# systemctl daemon-reload
#使用systemctl命令，开机自启
[root@node2 ~]# systemctl enable --now rsyncd
[root@node2 ~]# systemctl status rsyncd
● rsyncd.service - fast remote file copy program daemon
Loaded: loaded (/usr/lib/systemd/system/rsyncd.service; enabled; vendor preset: >
Active: active (running) since Wed 2021-05-12 09:58:50 CST; 1min 54s ago
Main PID: 2149 (rsync)
Tasks: 1 (limit: 11300)
Memory: 268.0K
CGroup: /system.slice/rsyncd.service
└─2149 /usr/bin/rsync --daemon --no-detach
May 12 09:58:50 node2 systemd[1]: Started fast remote file copy program daemon.
重启查看状态
//重启
[root@node1 ~]# reboot
[root@node2 ~]# reboot
//node1
#脚本文件也在运行
[root@node1 ~]# ps -ef | grep inotify
root 977 970 0 10:05 ? 00:00:00 /bin/bash /scripts/inotify.sh
root 981 977 0 10:05 ? 00:00:00 /usr/bin/inotifywait -mrq --timefmt %Y%m%d %H:%M --format %T %w%f%e -e modify,delete,create,attrib /opt
root 982 977 0 10:05 ? 00:00:00 /bin/bash /scripts/inotify.sh
root 1446 1421 0 10:07 pts/1 00:00:00 grep --color=auto inotify
//node2
#873端口已经启动
[root@node2 ~]# ss -antl
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN 0 5 0.0.0.0:873 0.0.0.0:*
LISTEN 0 128 0.0.0.0:22 0.0.0.0:*
LISTEN 0 5 [::]:873 [::]:*
LISTEN 0 128 [::]:22 [::]:*
测试
//node1
#在opt下创建abc目录
[root@node1 opt]# pwd
/opt
[root@node1 opt]# mkdir abc
[root@node1 opt]# ls
abc test1 test2 test3
//node2
#可以看到abc目录
[root@node2 opt]# pwd
/opt
[root@node2 opt]# ls
opt
[root@node2 opt]# tree
.
└── opt
├── abc
├── test1
│ ├── file1
│ ├── file2
│ └── file3
├── test2
│ ├── file1
│ ├── file2
│ └── file3
└── test3
├── file1
├── file2
└── file3
