Rsync远程同步+inotify监控
是一个开源的快速备份工具，可以在不同主机之间镜像同步整个目录树，支持增量备份，并保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适用于异地备份、镜像服务器等应用。
在远程同步任务中，负责发起rsync同步操作的客户机称为发起端，而负责响应来自客户机的rsync同步操作的服务器称为同步源。在同步过程中，同步源负责提供文件的原始位置，发起端应对该位置具有读取权限。
Rsync 是 Linux 系统下的数据镜像备份工具，使用快速增量备份工具 Remote Sync 可以远程同步， 可以在不同主机之间进行同步，可实现全量备份与增量备份，保持链接和权限，且采用优化的同步算法， 传输前执行压缩，因此非常适合用于架构集中式备份或异地备份等应用。同时Rsync支持本地复制，或者与其他 SSH、rsync 主机同步
完整备份：每次备份都是从备份源将所有的文件或目录备份到目的地。
差量备份：备份上次完全备份以后有变化的数据（他针对的上次的完全备份，他备份过程中不清除存档属性）。
增量备份：备份上次备份以后有变化的数据（他才不管是那种类型的备份，有变化的数据就备份，他会清除存档属性）
可以镜像保存整个目录和文件系统
可以很容易做到保持原文件的权限、时间、软硬连接等
无须特殊权限即可安装
快速
第一次同步时rsync会复制全部内容，但在下一次只传输修改过的文件
rsync在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的宽带
安全
可以使用scp、ssh等方式来传输文件
也可通过直接socket连接
支持匿名传输，以方便进行网站镜像
cp命令是一种典型的将文件完整的拷贝到一个位置。而rsync是，第一次拷贝，在目标位置没有的时候，rsync是全量拷贝过去，但是第二次拷贝的时候，只会对差异项进行同步拷贝。所有如果对同一个文件进行二次备份的话，rsync速度会相较于cp而言更快。
cp只支持本地，而rsync支持远程
scp是基于cp原理，也是属于完整性拷贝文件。假设rsync和scp拷贝的文件都是第一，目标地址都没有要同步的文件，此时，这两者的差异在于，第一个，这个要传输的文件大不大，第二个要看在传输的过程中，用的带宽大不大。如果文件不大的情况下，scp是把数据从磁盘中的块存储提取出来，封装一下，网络传过去，此时scp更快，如果是更大的文件，比如说40G，带宽只支持100M的带宽，scp想要传输，需要拆分数据，一段一段传输。而rsync会根据一个逻辑意义上的空间，把数据划分出来，把数据先压缩再传输，所以这种方式而言，带宽校，文件大，这个时候先压缩再传输会比较快。此时适合用rsync远程同步。
常用的是-a、-v、-z、--delete
常用选项 解释
-a 归档模式，保留文件的权限、属性等信息，等同于组合选项“-rlptgoD”。
-v 显示同步过程的详细（verbose）信息。
-z 在传输文件时进行压缩（compress）。
--delete 删除目标位置有而原始位置没有的文件。
-r 递归模式，包含目录及子目录中的所有文件。
-l 对于符号链接文件仍然复制为符号链接文件。
-p 保留文件的权限标记。
-t 保留文件的时间标记。
-g 保留文件的属组标记（仅超级用户使用）。
-o 保留文件的属主标记（仅超级用户使用）。
-H 保留硬连接文件。
-A 保留 ACL 属性信息。
-D 保留设备文件及其他特殊文件。
--checksum 根据校验和（而不是文件大小、修改时间）来决定是否跳过文件。
以下两者区别是什么？
rsync -avz abc/ /opt/ :只会拷贝abc目录下面的文件，而不会拷贝abc这个目录
rsync -avz /abc /opt/：会连着目录一起拷贝到/opt下
#如果是rsync -avz abc/ /opt/会是什么情况 cd /opt mkdir /abc cd /abc/ touch 1.txt 2.txt cd / rsync -avz abc/ /opt/ cd /opt/ ls #如果是rsync -avz /abc /opt/会是什么情况 cd /opt/ rm -rf * rsync -avz /abc /opt/ ls
格式一：
用户名@主机地址::共享模块名 本地目录 例如:rsync -avz backuper@192.168.111.19::wwwroot /data #表示将192.168.111.19同步源的wwwroot模块中定义的文件同步到本地的/data目录
格式二：
rsync://@主机地址/共享模块名 本地目录 例如：rsync -avz rsync://@192.168.111.19/wwwroot /root #意思与上面一样，写法不同
rsync实验
本地复制：
rsync -avz /abc /opt #复制整个abc目录 rsync -avz /abc/ /opt #复制abc目录下的文件
本地复制妙用：
对一个目录下所有文件删除时，我们可以使用rm -rf 进行删除，但是rm -rf 是需要对文件进行遍历的。比较消耗资源，所以我们可使用–delete进行本地删除。
异地复制
配置环境
主机名 操作系统 ip地址 所需软件 rsync centos7 192.168.111.19 rsync client centos7 192.168.111.20 rsync
rsync服务器配置
关闭防火墙
systemctl stop firewall systemctl disbale firewalld setenforce 0 yum -y install rsync
vim /etc/rsyncd.conf uid = root gid = root use chroot = yes address = 192.168.111.19 port 873 log file = /var/log/rsyncd.log pid file = /var/run/rsyncd.pid hosts allow = 192.0.0.0/24 [wwwroot] path = /var/www/html comment = Document Root of www.lic.com read only = yes dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z auth users = ydq secrets file = /etc/rsyncd_users.db
设置密码文件，并开启rsync服务
vim /etc/rsyncd_users.db cj:123456 chmod 600 /etc/rsyncd_users.db rsync --daemon netstat -natp | grep rsync ------------------------------- 如果要关闭服务可以使用以下命令 kill $(cat /var/run/rsync.pid)
创建共享文件（文件源）
mkdir -p /var/www/html chmod +r /var/www/html cd /var/www/html echo "qinshimingyue">qins.txt echo "tianxingjiuge">txjg.txt
客户端配置
创建共享，目录
rsync -avz @192.168.111.19::wwwroot /abc
免密同步
vim /etc/server.pass 123456 chmod 600 /etc/server.pass rsync -avz --password-file=/etc/server.pass @192.168.111.19::wwwroot /abc
delete用法
rsync -avz -delete --password-file=/etc/server.pass @192.168.111.19::wwwroot /abc
infotify
infotify:可以监控文件系统的变动情况，并做出反应
优化inotify内核参数
vim /etc/sysctl.conf（内核参数文件）
max_queue_events #监控事件队列大小
max_user_instances #最多监控实例数
max_user_watches #每个实例最多监控文件数
#命令工具
inotifywait #用于持续监控，时实输出结果
inotifywatch #用于短期监控，任务完成后再输出结果
常用选项
选项 功能 -m 持续监控 -r 递归监控所有子对象 -q 简化输出信息 -e 指定要监控哪些事件类型 modify 修改 create 创建 move 移动 delete 删除
rsync+inotify实现配置
修改配置文件
vim /etc/rsyncd.conf read only = no kill (cat /var/run/rsyncd.pid) rsync --daemon netstat -natp |grep rsync
修改内核文件
vim /etc/sysctl.conf fs.inotify.max_queued_events = 32768 fs.inotify.max_user_instances = 1024 fs.inotify.max_user_watches = 1048576 sysctl -p
client配置
安装inotify安装包
yum -y install gcc gcc-c++ cd /opt tar -zxvf inotify-tools-3.14.tar.gz cd inotify-tools-3.14/ ./configure make && make install
脚本监控
vim /opt/inotify.sh #!/bin/bash INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /abc" RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /abc/ ydq@20.0.0.55::wwwroot" $INOTIFY_CMD | while read DIRECTORY EVENT FILE do if [ $(pgrep rsync | wc -l) -le 0 ] ; then $RSYNC_CMD fi done #脚本解释 先定义一个变量为监控这个目录中是否创建、删除、移动、修改、属性等信息的变化 再定义一个变量为rsync同步，将/abc中的目录中的信息同步到rsync服务器中的指定目录 再编写一个while循环，先执行监控变量，再执行while循环， 循环内容为，读取目录事件文件，如果rsync进程同步操作不存在，则执行同步操作的变量。
chmod +x /opt/inotify.sh ./inotify.sh ---------------#加入自启动----------------------- chmod +x /etc/rc.d/rc.local echo "/opt/inotify.sh" >>/etc/rc.d/rc.local
rsync优点：可以时实
rsync缺点：
带宽特别充裕的情况下，rsync同步的速率比scp要慢
同步百万级数据，参数严格要按要求去写，不然可能导致同步失败。
