lsyncd实时同步工具
简介
Lysncd 实际上是lua语言封装了 inotify 和 rsync 工具,采用了 Linux 内核(2.6.13 及以后)里的 inotify 触发机制,然后通过rsync去差异同步,达到实时的效果。
完美解决了 inotify + rsync海量文件同步带来的文件频繁发送文件列表的问题 —— 通过时间延迟或累计触发事件次数实现。
环境
由于成本考虑,没有用ELK来做日志手机。需要采用lsyncd
将每台服务器的/data/log/tomcat
目录同步到固定的机器,使用Nginx
来做日志展示。
服务器列表
系统 | ip | ssh端口 | 目录 | 注释 |
---|---|---|---|---|
CentOS 6.9 | 192.168.31.7 | 27 | /data/log/tomcat | 安装lsync |
CentOS 6.9 | 192.168.31.216 | 27 | /data/log/tomcat/192.168.31.7 | 安装rsync |
备注:将192.168.31.7
的/data/log/tomcat
目录同步到192.168.31.216
的/data/log/tomcat/192.168.31.7
目录
拓扑图
说明:
将每台web服务器的日志/data/log/tomcat
,使用rsync
工具,通过ssh
协议,发送给日志服务器。
ssh免密
注意:设置单向的ssh免密即可。也就是192.168.31.7
能免密登录192.168.31.216
生成秘钥
2台服务器,都执行命令:
ssh-keygen -t rsa
copy秘钥
登录192.168.31.7
,执行命令:
ssh-copy-id -i ~/.ssh/id_rsa.pub "-p 27 root@192.168.31.216"
安装lsyncd
有2种方法可以安装,主要讲解源码安装
yum安装
yum安装,前提是安装了epel更新源。使用命令:yum install -y lsyncd
源码安装
github下载,地址为:https://github.com/axkibe/lsyncd
本文采用的是源码安装
方式,因为版本是比yum安装
要新一点
安装依赖
编译环境
yum install -y gcc psmisc gcc-c++ cmake
安装lua
yum install -y lua lua-devel
安装其他组件
注意:rsync必须要安装
yum install -y rsync unzip
编译安装
mkdir -p /data/ unzip lsyncd-master.zip -d /usr/src/ cd /usr/src/lsyncd-master/ cmake -DCMAKE_INSTALL_PREFIX=/data/lsyncd make && make install
创建同步目录
登录192.168.31.7
,执行命令:
mkdir -p /data/log/tomcat touch /data/log/tomcat/1.txt
登录192.168.31.216
,执行命令:
mkdir -p /data/log/tomcat/192.168.31.7
安装rsync
注意:server端和client端都需要安装rsync
登录192.168.31.7
和192.168.31.216
,执行命令:
yum install -y rsync
配置文件
cd /data/lsyncd mkdir etc var cd etc/ vi lsyncd.conf
内容如下:
settings { --pid文件 logfile = "/data/lsyncd/var/lsyncd.log", --状态文件 statusFile = "/data/lsyncd/var/lsyncd.status", --同步模式,意思就是有更新就同步 inotifyMode = "CloseWrite or Modify", --最大8个进程 maxProcesses = 8, } --需要同步服务器的IP地址池 servers = { "192.168.31.216", } --使用for循环遍历IP池 for _, server in ipairs(servers) do sync { --本地目录间同步,使用rsync default.rsync, --同步的源目录,使用绝对路径 source = "/data/log/tomcat", --定义目的地址,注意:冒号后面是绝对路径 target = server..":/data/log/tomcat/192.168.31.7", --累计事件,等待rsync同步延时时间。这里设置0秒,表示实时同步。 delay = 0, rsync ={ --rsync命令的绝对路径 binary ="/usr/bin/rsync", archive =true, compress =true, verbose = true, --使用ssh协议连接到目标服务器,如果端口不是22,请修改一下。 rsh = "/usr/bin/ssh -p 22 -o StrictHostKeyChecking=no" }, } end
启动服务
/data/lsyncd/bin/lsyncd /data/lsyncd/etc/lsyncd.conf
查看日志
tail -f /data/lsyncd/var/lsyncd.log
输出:
sent 106 bytes received 31 bytes 274.00 bytes/sec total size is 0 speedup is 0.00 Mon Oct 28 10:21:02 2019 Normal: Finished a list after exitcode: 0
查看进程
# ps -aux|grep lsync Warning: bad syntax, perhaps a bogus '-'? See /usr/share/doc/procps-3.2.8/FAQ root 1581 0.0 0.0 11376 1112 ? Ss 10:19 0:00 /data/lsyncd/bin/lsyncd /data/lsyncd/etc/lsyncd.conf root 1602 0.0 0.0 103336 896 pts/0 S+ 10:23 0:00 grep lsync
查看同步目录
登录到192.168.31.216
,查看目录是否同步过来了
# ls /data/log/tomcat/192.168.31.7/ 1.txt
开机启动脚本
vi /etc/init.d/lsyncd
内容如下:
#!/bin/bash # # chkconfig: - 85 15 # description: Lightweight inotify based sync daemon # # processname: lsyncd # config: /data/lsyncd/etc/lsyncd.conf # config: /etc/sysconfig/lsyncd # pidfile: /data/lsyncd/var/lsyncd.pid # Source function library . /etc/init.d/functions # Source networking configuration. . /etc/sysconfig/network # Check that networking is up. [ "$NETWORKING" = "no" ] && exit 0 LSYNCD_OPTIONS="-pidfile /data/lsyncd/var/lsyncd.pid /data/lsyncd/etc/lsyncd.conf" if [ -e /etc/sysconfig/lsyncd ]; then . /etc/sysconfig/lsyncd fi RETVAL=0 prog="lsyncd" thelock=/var/lock/subsys/lsyncd start() { [ -f /data/lsyncd/etc/lsyncd.conf ] || exit 6 echo -n $"Starting $prog: " if [ $UID -ne 0 ]; then RETVAL=1 failure else daemon ${LSYNCD_USER:+--user ${LSYNCD_USER}} /data/lsyncd/bin/lsyncd $LSYNCD_OPTIONS RETVAL=$? [ $RETVAL -eq 0 ] && touch $thelock fi; echo return $RETVAL } stop() { echo -n $"Stopping $prog: " if [ $UID -ne 0 ]; then RETVAL=1 failure else killproc lsyncd RETVAL=$? [ $RETVAL -eq 0 ] && rm -f $thelock fi; echo return $RETVAL } reload(){ echo -n $"Reloading $prog: " killproc lsyncd -HUP RETVAL=$? echo return $RETVAL } restart(){ stop start } condrestart(){ [ -e $thelock ] && restart return 0 } case "$1" in start) start ;; stop) stop ;; restart) restart ;; reload) reload ;; condrestart) condrestart ;; status) status lsyncd RETVAL=$? ;; *) echo $"Usage: $0 {start|stop|status|restart|condrestart|reload}" RETVAL=1 esac exit $RETVAL
增加启动项
chkconfig --add lsyncd chkconfig --level 2345 lsyncd on
如果遇到不同步的情况:
1.检查几台服务器是否存在文件/usr/bin/rsync 2.检查source和target文件目录是否存在 3.检查iptables和selinux是否关闭 4.检查几台服务器之间是否做了秘钥认证,能够无密码ssh登录
本文参考链接:
https://linux.cn/article-5849-1.html