Linux文件实时同步方案 sersync and lsyncd
简介
文件实时同步对于运维是个很常见的需求。
如集群的机器，需要上传个文件，之前的步骤是每台服务器分别上传。
做文件同步以后，只上传一台，其他机器自动同步。
目前实现实时同步的主流方案有 rsync+inotify、sersync、lsyncd。
rsync + inotify
rsync + inotify 是最常见的方案。
Inotify 是一个 Linux 内核特性，它监控文件系统，并且及时向专门的应用程序发出相关的事件警告，比如删除、读、写和卸载操作等
本准备试验一下，在网上看到如下评价：
当向监控目录下拷贝复杂层次目录(多层次目录中包含文件)，或者向其中拷贝大量文件时，inotify经常会随机性地遗漏某些文件。这些遗漏掉的文件由于未被监控到，所有监控的后续操作都不会执行，例如不会被rsync同步。
sersync
这是国人开发的实时同步工具。优点如下：
1.sersync是使用c++编写，而且对linux系统文件系统产生的临时文件和重复的文件操作进行过滤，所以在结合rsync同步的时候，节省了运行时耗和网络资源。因此更快。
2.配置简单，其中bin目录下已经有基本上静态编译的2进制文件，配合bin目录下的xml配置文件直接使用即可。
3.使用多线程进行同步，尤其在同步较大文件时，能够保证多个服务器实时保持同步状态。
4.有出错处理机制，通过失败队列对出错的文件重新同步，如果仍旧失败，则按设定时长对同步失败的文件重新同步。
5. 自带crontab功能，只需在xml配置文件中开启，即可按您的要求，隔一段时间整体同步一次。无需再额外配置crontab功能。
实战
| ip | 目录 | 角色 |
|---|---|---|
| 192.168.1.2 | /home/work | 同步机 |
| 192.168.1.3 | /home/work | 被同步机 |
基于Centos6 ，使用 sersync + rsync 将 192.168.1.2 的 /home/work 目录实时同步到 192.168.1.3 的 /home/work 目录下。
192.168.1.3 被同步机操作
yum install rsync -y
vim /etc/rsyncd.conf
log file = /var/log/rsyncd.log #日志文件
pidfile = /var/run/rsyncd.pid #pid 文件
lock file = /var/run/rsync.lock #锁文件
secrets file = /etc/rsync.pass #认证文件
max connections = 0 # 连接数限制，0即不限制
[dubbo] # 模块名
path = /home/work # 同步目录
comment = dubbo # 注释，要与模块名一致
uid = root #设置rsync运行权限
gid = root
port = 873
use chroot = no
read only = no
list = no
timeout = 600
auth users = xx # 认证用户
hosts allow =192.168.1.2 # 允许同步的机器
hosts deny = 0.0.0.0/32
vim /etc/rsync.pass
xx:abc123 #对应rsyncd.conf 的 auth users
设置文件权限
chmod 600 /etc/rsyncd.conf
chmod 600 /etc/rsync.pass
启动
rsync --daemon
192.168.1.2 同步端操作
yum install rsync -y
rsync --daemon
echo "abc123" > /etc/passwd.txt
chmod 600 /etc/passwd.txt
sersync
以下解释下配置文件
<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
<host hostip="localhost" port="8008"></host>
<debug start="false"/> #是否开启debug模式，默认未开启
<fileSystem xfs="false"/> # 文件系统是xfs的要开启才能正常工作
<filter start="true"> #是否开启文件过滤，如下几种类型可以根据自己需要进行修改。
<exclude expression="(.*)\.out"></exclude> #过滤.out文件，如tomcat的catalina.out,微服务的nohup.out
<exclude expression="(.*)\.gz"></exclude> #过滤.gz文件
<exclude expression="^logs/*"></exclude> #过滤logs目录，如tomcat的logs目录
<exclude expression="^static/*"></exclude> #同上解释
</filter>
<inotify> # inotify的选项，默认即可
<delete start="true"/>
<createFolder start="true"/>
<createFile start="false"/>
<closeWrite start="true"/>
<moveFrom start="true"/>
<moveTo start="true"/>
<attrib start="false"/>
<modify start="false"/>
</inotify>
<sersync>
<localpath watch="/home/work/"> # 要同步的目录
<remote ip="192.168.1.3" name="dubbo"/> # 要同步的服务器，及rsyncd.conf 模块名
<!--<remote ip="192.168.8.39" name="tongbu"/>-->
<!--<remote ip="192.168.8.40" name="tongbu"/>-->
</localpath>
<rsync> # 这里使用的是 rsync daemon 去同步，而不是ssh，所以要指定 passwordfile文件
<commonParams params="-artuz"/>
<auth start="true" users="xx" passwordfile="/etc/passwd.txt"/>
<userDefinedPort start="false" port="874"/><!-- port=874 -->
<timeout start="false" time="100"/><!-- timeout=100 -->
<ssh start="false"/>
</rsync>
<failLog path="/tmp/rsync_fail_log.log" timeToExecute="60"/><!--default every 60mins execute once--> # 同步错误日志
<crontab start="true" schedule="600"><!--600mins--> #是否开启全盘同步。
<crontabfilter start="false"> #如果开启了全盘同步，这里也要开启，并设置与上面一致的过滤类型。
<exclude expression="*(.*)\.out"></exclude>
<exclude expression="^logs/*"></exclude>
</crontabfilter>
</crontab>
<plugin start="false" name="command"/>
</sersync>
<plugin name="command">
<param prefix="/bin/sh" suffix="" ignoreError="true"/> <!--prefix /opt/tongbu/mmm.sh suffix-->
<filter start="false">
<include expression="(.*)\.php"/>
<include expression="(.*)\.sh"/>
</filter>
</plugin>
<plugin name="socket">
<localpath watch="/opt/tongbu">
<deshost ip="192.168.138.20" port="8009"/>
</localpath>
</plugin>
<plugin name="refreshCDN">
<localpath watch="/data0/htdocs/cms.xoyo.com/site/">
<cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
<sendurl base="http://pic.xoyo.com/cms"/>
<regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
</localpath>
</plugin>
</head>
执行同步
/usr/local/sersync/sersync2 -d -r -o /usr/local/sersync/confxml.xml
监控脚本
vim /home/check_sersync.sh
#!/bin/bash
sersync="/usr/local/sersync/sersync2"
confxml="/usr/local/sersync/confxml.xml"
status=$(ps aux|grep 'sersync2'|grep -v grep|wc -l)
if [[ $status -eq 0 ]]; then
$sersync -d -r -o $confxml &
else
exit 0;
fi
添加执行权限
chmod +x /home/check_sersync.sh
设置定时任务
crontab -e
每隔两分钟执行一次
*/2 * * * * /bin/bash /home/check_sersync.sh > /dev/null 2>&1
lsyncd
Lysncd 实际上是lua语言封装了 inotify 和 rsync 工具，采用了 Linux 内核（2.6.13 及以后）里的 inotify 触发机制，然后通过rsync去差异同步，达到实时的效果。我认为它最令人称道的特性是，完美解决了 inotify + rsync海量文件同步带来的文件频繁发送文件列表的问题 —— 通过时间延迟或累计触发事件次数实现。另外，它的配置方式很简单，lua本身就是一种配置语言，可读性非常强。lsyncd也有多种工作模式可以选择，本地目录cp，本地目录rsync，远程目录rsyncssh。
这个比sersync设置简单些。
实战
被控制端与如上一致。
同步机设置如下：
yum install lsyncd -y
vim /etc/lsyncd.conf
settings {
logfile = "/tmp/lsyncd.log", #日志
statusFile = "/tmp/lsyncd.status", #记录同步的文件和目录
pidfile = "/var/run/lsyncd.pid",
statusInterval = 1, #将lsyncd的状态写入上面的statusFile的间隔，默认10秒
nodaemon = false,
inotifyMode = "CloseWrite", #指定inotify监控的事件，默认是CloseWrite，还可以是Modify或CloseWrite or Modify
maxProcesses = 1, #同步进程的最大个数
maxDelays = 1, #累计到多少所监控的事件激活一次同步，即使后面的delay延迟时间还未到
}
sync {
default.rsync,
source = "/home/work/",
delete = true,
target = "xx@192.168.1.3::dubbo", # 认证用户，被同步的服务器，同步的模块名
excludeFrom = "image*", #要同步的文件或目录列表，我测试lsyncd过滤并不好用，不清楚是哪里的问题。
rsync = {
binary = "/usr/bin/rsync",
archive = true,
compress = false,
owner = true,
perms = true,
whole_file = false,
password_file = "/etc/passwd.txt"
}
}
启动即同步
/etc/init.d/lsyncd start
总结
我个人测试
- sersync 文件多时同步较快
- lsyncd 同步大文件时速度较快
