Rsync+Inotify
Rsync
用于实现数据增量同步：
1. 例如备份NAS或其它存储服务器上的文件；
2. 例如从发布服务器推数据到其它服务器。
基于sshd服务器，并client使用server的OS帐号同步数据，可以结合ssh公钥认证。
Server端启动rsyncd服务，并创建专用的rsync帐号（最终也要映射到系统帐号，对应一定的权限)
语法： Usage: rsync [OPTION]... SRC [SRC]... DEST
or rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST
or rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST
安装：
# yum -y install rsync
# rsync -va /etc/hosts /tmp/
# rsync -va /etc 192.168.1.251:/tmp
# rsync -va /etc/ 192.168.1.251:/tmp
# rsync -vza /etc 192.168.1.251:/tmp
# rsync -vza --delete /etc root@192.168.1.251:/tmp
# rsync -vza 192.168.1.251:/tmp /var/tmp
# rsync -vza --delete /etc/ 192.168.1.251:/
# rsync --help
-v, --verbose increase verbosity
-u, --update skip files that are newer on the receiver
--inplace update destination files in-place (SEE MAN PAGE)
--append append data onto shorter files
--append-verify like --append, but with old data in file checksum
-r, --recursive recurse into directories
-l, --links copy symlinks as symlinks
-p, --perms preserve permissions
-t, --times preserve modification times
-o, --owner preserve owner (super-user only)
-g, --group preserve group
--devices preserve device files (super-user only)
--specials preserve special files
-D same as --devices --specials
-a, --archive archive mode; equals -rlptgoD (no -H,-A,-X)
-H, --hard-links preserve hard links
-A, --acls preserve ACLs (implies --perms)
-X, --xattrs preserve extended attributes
-z, --compress compress file data during the transfer
--delete delete extraneous files from destination dirs
--exclude=pattern 同步时忽略什么样的文件
# rsync -vaz --delete /var/www/html/ 192.168.122.10:/var/www/html
# rsync -vazHAX --delete /var/www/html 192.168.122.10:/var/www/html
# rsync -vazHAX --delete /var/www/html 192.168.122.10:/var/www/
同步目录注意事项
源:
目录以"/"结尾 #仅传输目录下的内容
目录不以"/"结尾 #传输目录及目录下所有的内容
目标:
目标目录不存在 #先创建目录,再传输. 如果创建时父目录不存在, 则报错
Inotify
Inotify 是一种强大的、细粒度的、异步的文件系统事件监控机制，linux内核从2.6.13起，加入了Inotify支持，通过Inotify可以监控文件系统中添 加、删除，修改、移动等各种细微事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools就是这样的一 个第三方软件。
rsync可以实现触发式的文件同步，但是通过crontab守护进程方式进行触发，同步的数据和实际数据会有差异，而inotify可以监控文件系统的各种变化，当文件有任何变动时，就触发rsync同步，这样刚好解决了同步数据的实时性问题。
安装inotify工具inotify-tools
1) 确认内核支持
# ll /proc/sys/fs/inotify
总计 0
-rw-r--r-- 1 root root 0 10-01 08:07 max_queued_events
-rw-r--r-- 1 root root 0 10-01 08:07 max_user_instances
-rw-r--r-- 1 root root 0 10-01 08:07 max_user_watches
2) 安装rsync与inotify-tools
inotify-tools是用来监控文件系统变化的工具，因此必须安装在内容发布节点（数据源）
# yum install -y inotify-tools-3.14-8.el7.x86_64.rpm
inotify-tools指令:
inotifywait 用于等待文件或文件集上的一个特定事件，它可以监控任何文件和目录
inotifywatch 用于收集被监控的文件系统统计数据，包括每个inotify事件发生多少次等信息
Inotifywait相关参数
Inotifywait是一个监控等待事件，可以配合shell脚本使用，常用的一些参数：
-m ,--monitor 表示始终保持事件监听状态
-r ,--recursive 表示递归查询目录
-q 即--quiet，表示不打印监控事件
-e 即--event，通过此参数可以指定要监控的事件，常见的事件有modify、delete、create、attrib等
-e omitted 监控所有事件
# inotifywait -mrq -e modify,delete,create,attrib /var/www/html/
# inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e
modify,delete,create,attrib /var/www/html/
04/06/14 14:23 /var/www/html/file1
04/06/14 14:23 /var/www/html/file1
# nohup inotifywait -mrq --format '%T %w%f' --timefmt '%d/%m/%y %H:%M' -e
modify,delete,create,attrib /var/www/html >> file_modify.txt &
ATTRIB：时间、属主属组。。。
# inotifywait -mrq --format '%w%f' -e modify,delete,create,attrib /var/www/html/
/var/www/html/file2
/var/www/html/file2
rsync+inotify 实时同步(触发式)
rsync+cron的优点与不足
与传统的cp、scp、tar备份方式相比，rsync具有安全性高、备份迅速、支持增量备份等优点，通过rsync可以解决对实时性要求不高的数据备份 需求，例如定期的备份文件服务器数据到远端服务器，对本地磁盘定期做数据镜像等。
随着应用系统规模的不断扩大，对数据的安全性和可靠性也提出的更好的要求，rsync在高端业务系统中也逐渐暴露出了很多不足，首先，rsync同步数据时，需要扫描所有文件后进行比对，进行增量传输。如果文件数量达到了百万甚至千万量级，扫描所有文件将是非常耗时的。而且正在发生变化的往往是其中很少的一部分，这是非常低效的方式。其次，rsync不能实时的去监测、同步数据，虽然它可以通过linux守护进程的方式进行触发同步，但是两次触发动作一定会有时间差，这样就导致了服务端和客户端数据可能出现不一致，无法在应用故障时完全的恢复数据
配置示例
服务器
192.168.10.11
192.168.10.12
配置ssh公钥认证
安装inotify-tools
编写同步脚本
同步测试
#!/bin/bash dir=/usr/local/tomcat/instance1/webapps/ desc=/app/nginx-1.7.4/html/webapps logfile=/var/log/tomcat_instance1_webapps_inotify.log host=192.168.10.13 inotifywait -mrq -e modify,delete,create,attrib --format "[%T] %e %w%f" --timefmt "%Y-%m-%d %H:%M:%S" $dir |while read line;do echo "$line" >> $logfile rsync -az --delete $dir $host:$desc done
