rsync远程同步+inotify监控

一、rsync简介

一款开源的快速备份工具

支持本地复制

也可以在不同主机（例如：其他SSH、rsync主机）之间镜像同步整个目录树，支持增量备份，并保持钳接和权限。

采用优化的同步算法，传输前执行压缩,，因此非常适用于异地备份、镜像服务器等应用。

二、rsync同步源

在远程同步任务中，负责发起rsync同步操作的客户机称为发起端，而负责响应来自客户机的rsync同步操作的服务器称为同步源(备份源)。在同步过程中，同步源负责提供文件的原始位置，发起端应对该位置具有读取权限。

  • 在下行同步（下载）中，同步源负责提供文档的原始位置，发起端应对该位置有读取权限
  • 在上行同步（上传）中，同步源负责提供文档的目标位置，发起端应对该位置具有写入权限

三、配置rsync的源服务器

 1 systemctl stop firewalld.service
 2 setenforce 0
 3  
 4 rpm -q rsync                   #一般系统已默认安装rsync 
 5 #建立/etc/rsyncd.conf配置文件
 6 vim /etc/rsyncd.conf           #添加以下配置项
 7  
 8 uid = root
 9 gid = root
10 use chroot = yes               #禁锢在源目录
11 address = 192.168.118.100     #监听地址
12 port 873                     #监听端口tcp/udp 873，可通过cat/etc/services I grep rsync查看
13 log file = /var/log/rsyncd.log   #日志文件位置
14 pid file = /var/run/rsyncd.pid   #存放进程ID的文件位置
15 hosts allow =192.168.118.0/24   #允许访问的客户机地址
16 dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2#同步时不再压缩的文件类型
17  
18 [wwwroot]                                   #共享模块名称
19 path = /var/www/html                        #源目录的实际路径
20 comment = folder of web
21 read only = yes                             #是否为只读
22 auth users = backuper                       #授权账户，多个账号以空格分隔
23 secrets file= /root/rsnyc_backupers        #存放账户信息的数据文件
24 #如采用匿名的方式，只要将其中的“auth users"和“secrets file”配置项去掉即可
25 -------------------------------------------------------------------------------
26 #为备份账户创建数据文件
27 vim /root/rsnyc_backupers
28 backuper:123123                #无须建立同名系统用户
29 -----------------------------------------------------------------------------
30 chmod 600 /root/rsnyc_backupers
31 ll -d /root/rsnyc_backupers
32  
33 #保证所有用户对源目录/var/www/html都有读取权限
34 mkdir -p /var/www/html/
35 chmod +r /var/www/html/
36 ll -d /var/www/html/
37  
38 #启动rsync服务程序
39 rsync --daemon                  #启动rsync服务，以独立监听服务的方式（守护进程）运行
40  
41 #关闭服务
42 kill $(cat /var/run/rsyncd.pid)
43 rm -rf /var/run/rsyncd.pid

编辑用户账号文件

固定格式为[名称:密码]，一行一个，并赋予文件权限及创建共享目录赋予读权限开启服务

保证所有用户对源目录/var/www/html都有读取权限 

启动rsync服务程序

 四、发起端

基本格式 ：rsynd [选项] 原始位置 目标位置

常用选项

选项 功能
-r 递归模式，包含目录及子目录中的所有文件。
-l 对于符号链接文件仍然复制为符号链接文件。
-v 显示同步过程的详细（verbose）信息。
-z 在传输文件时进行压缩（compress）。
-a 归档模式，保留文件的权限、属性等信息，等同于组合选项“-rlptgop"。
-p 保留文件的权限标记。
-t 保留文件的时间标记。
-g 保留文件的属组标记（仅超级用户使用）。
-o 保留文件的属主标记（仅超级用户使用）。
-H 保留硬连接文件。
-A 保留ACL属性信息。
-D 保留设备文件及其他特殊文件。
--delete 删除目标位置有而原始位置没有的文件。
--checksum 根据校验和（而不是文件大小、修改时间）来决定是否跳过文件。

 

实验环境

服务端192.168.118.100
客户端192.168.118.101

服务端192.168.118.100创建网页首页文件

1 cd /var/www/html/
2 ls
3 echo a > a
4 echo b > b
5 echo c > c
6 mkdir abc
7 echo 'this is rsync test file' > abc/index.html

将指定的资源下载到本地/data目录下进行备份。

格式一：

用户名@主机地址::共享模块名

客户端创建一个data目录存放服务端下载到本地的文件

mkdir /data
rsync -avz backuper@192.168.118.100::wwwroot /data

 格式二：

rsync://用户名@主机地址/共享模块名

在客户端创建一个test目录存放服务端下载到本地的文件

rsync -avz rsync://backuper@192.168.118.100/wwwroot /test

如何实现免交互

客户端

1 格式配置：
2 echo "123123" > rsync_password
3 ls
4 cat rsync_password
5 chmod 600 /root/rsync_password 
6 mkdir /my
7 rsync -az --delete --password-file=/root/rsync_password backuper@192.168.118.100::wwwroot /my/#为了在同步过程中不用输入密码，需要创建一个密码文件，保存backuper用户的密码，如/root/rsync_password。在执行rsync 同步时使用选项“--password-file=/root/rsync_password"指定即可。

 也可以通过计划性任务对数据进行定期同步

1 crontab -e                               #添加计划性任务
2 * */2 * * * /usr/bin/rsync -avz --delete --password-file=/root/rsync_password backuper@192.168.118.100::wwwroot /my/   #每天的10：30对数据进行同步
3 systemctl restart crond                  #重启计划任务服务  
4 systemctl enable crond                   #设置开机自启

五、rsync实时同步

1、定期同步的不足

  • 执行备份的时间固定，延迟明显、实时性差
  • 当同步源长期不变化时，密集的定期任务是不必要的

2、实时同步的优点

  • 一旦同步源出现变化，立即启动备份
  • 只要同步源无变化，则不执行备份

3、Linux内核的inotify机制

  • 从版本2.6.13开始提供
  • 可以监控文件系统的变动情况，并做出通知响应
  • 辅助软件：inotify-tools

4、发起端配置rsync+Inotify

使用inotify通知接口，可以用来监控文件系统的各种变化情况，如文件存取、删除、移动、修改等。利用这一机制，可以非常方便地实现文件异动告警、增量备份，并针对目录或文件的变化及时作出响应。将inotify机制与rsync工具相结合，可以实现触发式备份（实时同步），即只要原始位置的文档发生变化，则立即启动增量备份操作；否则处于静默等待状态。因为 inotify 通知机制由 Linux 内核提供，因此主要做本机监控，在触发式备份中应用时更适合上行同步。

5、实验操作实现实时同步

修改rsync源服务器配置

1 vim /etc/rsyncd.conf
2 read only = no                     #关闭只读 上行同步需要可以写
3 kill $(cat /var/run/rsyncd.pid)   #杀死进程等于关闭服务
4 rm -rf /var/run/rsyncd.pid         #要将服务的pid文件删除否则重启服务可能会起不来会报错
5 rsync --daemon                     #重启服务
6 netstat -anpt | grep rsync         #查看服务是否启动
7 chmod 777 /var/www/html/           #给共享目录可读可写可执行权限

调整客户机inotify 内核参数

在Linux内核中，默认的inotify机制提供了三个调控参数：max_queue_events（监控事件队列，默认值为16384）、max_user_instances（最多监控实例数，默认值为128）、max_user_watches（每个实例最多监控文件数，默认值为8192）。当要监控的目录、文件数量较多或者变化较频繁时，建议加大这三个参数的值。

 1 #查看参数值
 2 cat /proc/sys/fs/inotify/max_queued_events
 3 cat /proc/sys/fs/inotify/max_user_instances 
 4 cat /proc/sys/fs/inotify/max_user_watches
 5  
 6 vim /etc/sysctl.conf 
 7 fs.inotify.max_queued_events = 16384
 8 fs.inotify.max_user_instances = 1024
 9 fs.inotify.max_user_watches = 1048576
10  
11 sysctl -p  #加载参数

在客户机安装inotify-tools

  • 用inotify机制还需要安装 inotify-tools，以便提供inotifywait、inotifywatch 辅助工具程序，用来监控、汇总改动情况。
  • inotifywait：可监控modify（修改）、create（创建）、move（移动）、delete（删除）、attrib（属性更改）等各种事件，一有变动立即输出结果。
  • inotifywatch：可用来收集文件系统变动情况，并在运行结束后输出汇总的变化情况。
1 tar zxvf inotify-tools-3.14.tar.gz    #将软件包拉入/opt目录解压
2 cd /opt/inotify-tools-3.14            #进入目录
3 ./configure && make && make install   #配置、编译安装
4 #可以先执行*inotifywait”命令，然后另外再开启一个新终端向/data目录下添加文件、移动文件，在原来的终端中跟踪屏幕输出结果。
5 inotifywait -mrq -e modify,create,move,delete /data
6 #选项“-e"：用来指定要监控哪些事件
7 #选项“-m”：表示持续监控
8 #选项“-r"：表示递归整个目录
9 #选项“-q”：简化输出信息

六、配置 Rsync 上行同步

6.1、修改rsync服务器配置

 1 vim /etc/rsyncd.conf
 2 #添加上行共享模块
 3 [backupdir]
 4 path = /data
 5 comment = upload backup from client
 6 read only = no
 7 auth users = backuper
 8 secrets file = /root/rsnyc_backupers
 9  
10 #重启服务
11 kill $(cat /var/run/rsyncd.pid)   
12 rm -rf /var/run/rsyncd.pid         
13 rsync --daemon                     
14 netstat -anpt | grep rsync

 

6.2、在客户机编写触发式同步脚本

#####注意，脚本名不可包含rsync字符串，否则脚本可能不生效

 1 vim /opt/inotify.sh
 2 #!/bin/bash
 3 #定义inotifywait监控目录中文件事件的变量
 4 INOTIEY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /data/"
 5 #定义执行rsync上行同步的变量
 6 RSYNC_CMD="rsync -azH --delete --password-file=/root/rsnyc_backupers /data/ backuper@192.168.118.100::backupdir/"
 7 #使用while、read持续获取监控结果，根据结果可以进一步判断是否读取到输出的监控记录
 8 $INOTIEY_CMD | while read DIRECTORY EVENT FILE
 9 do
10       if [ $(pgrep rsync | wc -l) -le 0 ] ; then
11       #如果rsync未在执行，则立即启动
12       $RSYNC_CMD
13       fi
14 done
15 chmod +x /opt/inotify.sh
16 chmod 777 /var/www/html/
17 chmod +x /etc/rc.d/rc.local
18 echo '/opt/inotify.sh' >> /etc/rc.d/rc.local                #加入开机自动执行
19 ./inotify.sh &
20

 

 6.3、测试

客户机执行脚本并在共享目录内写入数据

cd /data
mkdir 123      
echo "123123" >123/index.html

服务器查看是否同步

 

 同步成功

 

posted @ 2022-12-08 18:16  赵哈哈#  阅读(168)  评论(0)  编辑  收藏  举报