rsync实时备份监控命令(详细大全） rsync实时备份监控命令(详细大全）

rsync英文称为remote synchronizetion，从软件的名称就可以看出来，
rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能，
这个功能类似于ssh带的scp命令，但是又优于scp命令的功能，scp每次都是全量拷贝，而rsync可以增量拷贝。
当然，rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据，这又类似cp命令。
但是同样也优于cp命令，cp每次都是全量拷贝，而rsync可以增量拷贝。

rsync官方地址：https://rsync.samba.org/
rsync监听端口：873
rsync运行模式：C/S   client/server

rsync简称叫做远程同步，可以实现不同主机之间的数据同步，还支持全量和增量

 

2.rsync特性

支持拷贝特殊文件，如连接文件、设备等。
可以有排除指定文件或目录同步的功能，相当于打包命令tar的排除功能。
可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变 –p。
可以实现增量同步，既只同步发生变化的数据，因此数据传输效率很高（tar-N）。
可以使用rcp、rsh、ssh等方式来配合传输文件（rsync本身不对数据加密）。
可以通过socket（进程方式）传输文件和数据（服务端和客户端）*****。
支持匿名的活认证（无需系统用户）的进程模式传输，可以实现方便安全的进行数据备份和镜像。

3.rsync应用场景

全量备份
增量备份

4.rsync的传输方式

push 推：
客户端将数据从本地推送至服务端
 
pull 拉：
客户端将数据从服务端拉取到本地

5.Rsync传输模式

1.本地方式（类似于cp，不支持推送和拉取，只是单纯的复制）
2.远程方式（类似于scp，又不同于scp），scp只支持全量备份，rsync支持增量备份和差异备份
：/        :支持推与拉
推：
rsync -avzP ./* root@172.16.1.41:/etc
拉：
rsync -avzP root@172.16.1.41:/opt ./ 
3.守护进程方式（客户端和服务端）
：：        ：是守护进程模式 实现模块，程序运行代码，实时监控，实时备份

二：RSYNC使用参数

-v, --verbose 详细模式输出
-q, --quiet 精简输出模式
-c, --checksum 打开校验开关，强制对文件传输进行校验
-a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD
-r, --recursive 对子目录以递归模式处理
-R, --relative 使用相对路径信息
-b, --backup 创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。
--backup-dir 将备份文件(如~filename)存放在在目录下。
-suffix=SUFFIX 定义备份文件前缀
-u, --update 仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件。(不覆盖更新的文件)
-l, --links 保留软链结
-L, --copy-links 想对待常规文件一样处理软链结
--copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结
--safe-links 忽略指向SRC路径目录树以外的链结
-H, --hard-links 保留硬链结
-p, --perms 保持文件权限
-o, --owner 保持文件属主信息
-g, --group 保持文件属组信息
-D, --devices 保持设备文件信息
-t, --times 保持文件时间信息
-S, --sparse 对稀疏文件进行特殊处理以节省DST的空间
-n, --dry-run现实哪些文件将被传输
-W, --whole-file 拷贝文件，不进行增量检测
-x, --one-file-system 不要跨越文件系统边界
-B, --block-size=SIZE 检验算法使用的块尺寸，默认是700字节
-e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步
--rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息
-C, --cvs-exclude 使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件
--existing 仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件
--delete 删除那些DST中SRC没有的文件
--delete-excluded 同样删除接收端那些被该选项指定排除的文件
--delete-after 传输结束以后再删除
--ignore-errors 及时出现IO错误也进行删除
--max-delete=NUM 最多删除NUM个文件
--partial 保留那些因故没有完全传输的文件，以是加快随后的再次传输
--force 强制删除目录，即使不为空
--numeric-ids 不将数字的用户和组ID匹配为用户名和组名
--timeout=TIME IP超时时间，单位为秒
-I, --ignore-times 不跳过那些有同样的时间和长度的文件
--size-only 当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间
--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口，默认为0
-T --temp-dir=DIR 在DIR中创建临时文件
--compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份
-P 等同于 --partial
--progress 显示备份过程
-z, --compress 对备份的文件在传输时进行压缩处理
--exclude=PATTERN 指定排除不需要传输的文件模式
--include=PATTERN 指定不排除而需要传输的文件模式
--exclude-from=FILE 排除FILE中指定模式的文件
--include-from=FILE 不排除FILE指定模式匹配的文件
--version 打印版本信息
--address 绑定到特定的地址
--config=FILE 指定其他的配置文件，不使用默认的rsyncd.conf文件
--port=PORT 指定其他的rsync服务端口
--blocking-io 对远程shell使用阻塞IO
-stats 给出某些文件的传输状态
--progress 在传输时现实传输过程
--log-format=formAT 指定日志文件格式
--password-file=FILE 从FILE中得到密码
--bwlimit=KBPS 限制I/O带宽，KBytes per second
-h, --help 显示帮助信息

 --bwlimit=100 # 限速传输（单位：MB） [root@m01 ~]# rsync -avzP --append-verify --bwlimit=10 ./* root@172.16.1.41:/opt/

rsync 实时同步

inotify 的使用

    1、rsync 不支持实时同步
    2、一般用 inotify 软件来监控文件的实时变化
    3、监控到文件发生变化，立刻调用 rsync 传输数据，实现实时同步
复制

实现实时同步步骤

1、安装 inotify （装在客户端）

[root@m01 ~]# yum install inotify-tools -y
2、inotify 参数介绍

-m    持续监控
-r    递归
-q    静默，仅打印时间信息
--timefmt    指定输出时间格式
--format    指定事件输出格式
    %Xe 时间
    %w  目录
    %f  文件
-e
    access 访问
    modify 内容修改
    attrib 属性修改
    close_write 修改真实文件内容
    open 打开
    create 创建
    delete 删除
    umount 卸载

 3、开始监控

    /usr/bin/inotifywait -mrq --format "%Xe %w %f" -e create,modify,delete,close_write,attrib /root

[root@m01 ~]# /usr/bin/inotifywait -mrq --format "%Xe %w %f" -e create,modify,delete,close_write,attrib /root

 

4、实时监控并同步

# 读取监控的信息，循环调用 rsync 传输数据即可进行同步
--delete     # 让目标目录和源目录数据保持一致

    /usr/bin/inotifywait -mrq --format "%Xe %w %f" -e create,modify,delete,close_write,attrib /root | while read line;do
    cd /root
    rsync -avzP --delete --password-file=/etc/rsync.passwd ./* rsync_backup@172.16.1.41::backup

# 不要忘记写 ./* 和 done

[root@m01 ~]# /usr/bin/inotifywait -mrq --format "%Xe %w %f" -e create,modify,delete,close_write,attrib /root | while read line;do
> cd /root
> rsync -avzP --delete --password-file=/etc/rsync.passwd ./* rsync_backup@172.16.1.41::backup
> done

 

 参考：

yum -y install rsync   (客户端、服务端都需要安装）

1、服务端配置/etc/rsyncd.conf

pid file = /var/run/rsyncd.pid 
#进程 pid 文件所在位置
#port = 873 #指定监听端口，默认是873，可以自己指定
#address = 192.168.10.196 #服务器监听的IP地址，可省略

uid = root 
#守护进程所属的uid，默认是nobody，可能会碰到文件或目录权限问题，此处偷懒用的 root
gid = root 
#守护进程的gid

#chroot，即改变程序执行时所参考的根目录位置，在传输文件之前，服务器守护程序在将chroot 到文件系统中的目录中
#这样做的好处是可能保护系统被安装漏洞侵袭的可能。缺点是需要超级用户权限。另外对符号链接文件，将会排除在外
#也就是说，你在 rsync服务器上，如果有符号链接，你在备份服务器上运行客户端的同步数据时，只会把符号链接名同步下来，并不会同步符号链接的内容
use chroot = yes

read only = yes 
#只读选择，只让客户端从服务器上读取文件
#write only = yes 
#只写选择，只让客户端到服务器上写入

#允许访问的IP，可以指定单个IP，也可以指定整个网段，能提高安全性。格式是 ip 与 ip 之间、ip 和网段之间、网段和网段之间要用空格隔开；（A服务器需要同步B服务器的文件  ip为A服务器）
hosts allow = 192.168.16.150

max connections = 5 
#客户端最多连接数

#当用户登录时会看到这个信息。比如显示当前时间、公告等
motd file = /etc/rsync/rsyncd.motd

log file = /var/log/rsync.log 
#rsync 服务器的日志；
transfer logging = yes 
#记录传输文件的日志
log format = %t %a %m %f %b 
#日志格式
syslog facility = local3
#日志级别

#通过该选项可以覆盖客户指定的IP超时时间。可以确保rsync服务器不会永远等待一个崩溃的客户端。超时单位为秒钟，0表示没有超时定义，这也是默认值。对于匿名rsync服务器来说，一个理想的数字是600。
timeout = 300 

#模块定义
#主要是定义服务器哪个目录要被同步。
#每个模块都要以[name]形式。这个名字就是在 rsync 客户端看到的名字。
#但是服务器真正同步的数据是通过 path 指定的。可以依次创建多个模块。
#每个模块要指定认证用户、密码文件，但排除并不是必须的。
[ image ]
path = /image/idea/ims/storage
list = false
ignore = errors

#指定由空格或逗号分隔的用户名列表，只有这些用户才允许连接该模块。这里的用户和系统用户没有任何关系，是 rsyncd.secrets 中的用户名！
#如果"auth users"被设置，那么客户端发出对该模块的连接请求以后会被rsync请求challenged进行验证身份。
#这里使用的 challenge/response 认证协议。
#用户的名和密码以明文方式存放在"secrets file"选项指定的文件中。默认情况下无需密码就可以连接模块(也就是匿名方式)。
auth users = root
secrets file = /etc/rsync/rsyncd.secrets
#密码文件
#exclude = error_log httpd.pid
#忽略的文件或目录
#comment this is my log #本模块注释，可选

/usr/bin/rsync --daemon --config=/etc/rsyncd.conf
查看程序是否正常启动ps -ef|grep rsync|grep -v grep

2、客户端配置

rsync -a --delete --progress --password-file=/etc/rsyncd/rsyncd.pass --port=873 root@192.168.16.150::image  /home/back2022

 rsync同步报错：@ERROR: auth failed on module XXX

 rsync   --exclude=PATTERN # 指定排除不需要传输的文件  --exclude-from=file # 按照文件指定内容排除

例：/image/idea/ims/storage目录下有这些文件夹，现在客户端不想同步2019、2020、2021开头的文件

 方式一、使用--exclude=方式

 rsync -a --delete  --exclude=2019*  --exclude=2020*  --exclude=2021* --progress --password-file=/etc/rsyncd/rsyncd.pass --port=873 root@192.168.170.136::image  /home/zh

方式二、使用  --exclude-from=file 方式

1、新建一个文件exclude.list （文件名随意）

在文件中添加需要排除的文件、或通配符 （一个一行 ）

   rsync -a --delete  --exclude-from=/etc/rsyncd/exclude.list  --progress --password-file=/etc/rsyncd/rsyncd.pass --port=873 root@192.168.170.136::image  /home/zh

如何目标位置的某个文件或文件夹。（目标文件有  、源文件没有  使用了--delete命令，但又不想被删除，可以将不想删除的文件添加至/etc/rsyncd/exclude.list 文件中）

rsync --exclude或者--exclude-from的路径问题  copy自：https://blog.csdn.net/qi_w_ip/article/details/123404739

先开个头，注意/的使用

假设有 my_src_dir/a

• 把 my_src_dir复制到 my_dst_dir，结果: my_dst_dir/my_src_dir/a

  rsync -a my_src_dir my_dst_dir

  把 my_src_dir下的内容复制到my_dst_dir，结果: my_dst_dir/a

   rsync -a my_src_dir/ my_dst_dir

my_dst_dir和my_dst_dir/是没区别的

然后，复制的时候想排除某些文件，比如???.txt

rsync -a --exclude='???.txt' my_src_dir/ my_dst_dir

这样，会把全部的???.txt都排除掉，例如a/???.txt和b/???.txt，如果只想排除掉a目录下的，那就把目录写多点

rsync -a --exclude='a/???.txt' my_src_dir/ my_dst_dir

 如果目录是下面这样的

my_src_dir/a
my_src_dir/b
my_src_dir/b/a

应该怎么排除a呢，--exclude='a'，b/a就没了，--exclude='my_src_dir/a'，这样是不生效的，应该写成这样
--exclude='/a'
没错，就是加个/，很多帖子说--exclude要用相对目录，但是也没说怎么个相对，这样测一下就好理解了，相对于
my_src_dir的相对，my_src_dir是/。