rsync+inotify实时同步
！！！在安装前要先确保，rsync daemon服务配置成功，在安装inotify-tools前先确认你的linux内核是否达到了2.6.13,并且在编译时开启CONFIG_INOTIFY选项，也可以通过以下命令检测。
一、rsync + inotify 组合的起源
Rsync（remote sync）远程同步工具，通过rsync可以实现对远程服务器数据的增量备份同步，但rsync自身也有瓶颈，同步数据时，rsync采用核心算法对远程服务器的目标文件进行比对，只进行差异同步。我们可以想象一下，如果服务器的文件数量达到了百万甚至千万量级，那么文件对比将是非常耗时的。而且发生变化的往往是其中很少的一部分，这是非常低效的方式。inotify的出现，可以缓解rsync不足之处，取长补短。
【客户端】
rsync版本：3.0.6，inotify版本：inotify-tools-3.14.tar
二、编译安装
1）确认内核版本
[root@weiwei ~]# uname -r 2.6.32-573.el6.x86_64 [root@weiwei ~]# ls -l /proc/sys/fs/inotify/ total 0 -rw-r--r-- 1 root root 0 Aug 16 15:13 max_queued_events -rw-r--r-- 1 root root 0 Aug 16 15:13 max_user_instances -rw-r--r-- 1 root root 0 Aug 16 15:13 max_user_watches 显示这三项就说明支持
2）编译安装inotify
[root@weiwei inotify-tools-3.14]# ./configure --prefix=/usr/local/inotify-tools-3.14 [root@weiwei inotify-tools-3.14]# make && make install [root@weiwei local]# ln -s /usr/local/inotify-tools-3.14 /usr/local/inotify
3）本地测试
测试create [root@weiwei ~]# /usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e create /backup 16/08/17 19:01 /backup/a.txt 16/08/17 19:02 /backup/test_dir 测试delete [root@weiwei ~]# /usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e create,delete /backup 16/08/17 19:04 /backup/a.txt 16/08/17 19:04 /backup/nini.txt 测试close_write [root@weiwei ~]# /usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e create,delete,close_write /backup 16/08/17 19:06 /backup/nima 16/08/17 19:06 /backup/nima 上面的create,close_write如果是创建文件则会重复了监控，如果仅仅写入则只会有close_write的监控 没有时间的监控，简化事件的输出 [root@weiwei ~]# /usr/local/inotify/bin/inotifywait -mrq --format ' %w%f' -e create /backup /backup/jij.txt
三、下面用列表详细解释一下各个参数的含义
| inotifywait参数 | 含义说明 |
| -r --recursive | 递归查询目录 |
| -q --quiet | 打印很少的信息，仅仅打印监控事件的信息 |
| -m，--monitor | 始终保持事件监听状态 |
| --exclude | 排除文件或目录时，不区分大小写 |
| --timefmt | 指定时间输出的格式 |
| --format | 打印使用指定的输出类似格式字符串 |
| -e，--event | 通过此参数可以指定需要监控的事件，如下一个列表所示 |
-e ：--event的各种事件含义
| Events | 含义 |
|---|---|
| access | 文件或目录被读取 |
| modify | 文件或目录内容被修改 |
| attrib | 文件或目录属性被改变 |
| close | 文件或目录封闭，无论读/写模式 |
| open | 文件或目录被打开 |
| moved_to | 文件或目录被移动至另外一个目录 |
| move | 文件或目录被移动到另一个目录或从另一个目录移动至当前目录 |
| create | 文件或目录被创建在当前目录 |
| delete | 文件或目录被删除 |
| umount | 文件系统被卸载 |
四、实时监控的脚本
#!/bin/sh path="/backup" cmd="/usr/local/inotify/bin/inotifywait" $cmd -mrq --format ' %w%f' -e create,close_write,delete /backup |\ while read line do if [ ! -e "$line" ];then 如果此时执行了删除操作，则推送整个目录 cd $path &&\ rsync -az --delete ./ --delete rsync_backup@192.168.222.140::oldboy --password-file=/etc/rsync.password else 如果只是创建文件或者目录，则只需要推送文件或目录 rsync -az --delete $line rsync_backup@192.168.222.140::oldboy --password-file=/etc/rsync.password fi done
五、参数优化
[root@weiwei ~]# cd /proc/sys/fs/inotify/ [root@weiwei inotify]# ll total 0 -rw-r--r-- 1 root root 0 Aug 16 15:13 max_queued_events ===关键参数，可以搞大点，5000000 -rw-r--r-- 1 root root 0 Aug 16 15:13 max_user_instances -rw-r--r-- 1 root root 0 Aug 16 15:13 max_user_watches ===关键参数,327679 [root@weiwei inotify]# cat * 16384 128 8192
在/proc/sys/fs/inotify目录下有三个文件，对inotify机制有一定的限制
max_user_watches:设置inotifywait或inotifywatch命令可以监视的文件数量（单进程）
max_user_instances:设置每个用户可以运行的inotifywait或inotifywatch命令的进程数
max_queued_events:设置inotify实例事件（event）队列可容纳的事件数量。
修改参数：
[root@weiwei data]# cat /proc/sys/fs/inotify/max_ max_queued_events max_user_instances max_user_watches [root@weiwei data]# cat /proc/sys/fs/inotify/max_user_watches 8192 [root@weiwei data]# echo "50000000" > /proc/sys/fs/inotify/max_user_watches [root@weiwei data]# cat /proc/sys/fs/inotify/max_user_watches 50000000 [root@weiwei data]# cat /proc/sys/fs/inotify/max_queued_events 16384 [root@weiwei data]# echo "326790" > /proc/sys/fs/inotify/max_queued_events [root@weiwei data]# cat /proc/sys/fs/inotify/max_queued_events 326790 [root@weiwei data]# sysctl -p
六、inotify优缺点
优点：监控文件系统事件变化，通过同步工具实现实时数据同步。
缺点：
1）并发如果大于200个文件（10-100k），同步就会有延迟
2）我们前面写的脚本，每次都是全部推送一次，但确实是增量的。也可以只同步变化的文件，不变化的不理。
3）监控到事件后，调用rsync同步是单进程的，而sersync为多进程同步。既然有了inotify-tools，为什么还要开发sersync？
七、参考文档
https://github.com/rvoicilas/inotify-tools/wiki
