linux实现多台服务器时时同步文件,推荐lsyncd
服务器文件之间的同步常用三种方式:
- rsync
- inotify+rsync
- lsyncd
软件下载:https://git.oschina.net/sgfoot/linux-tools
第一种:rsync
核心代码:rsync -az --progress --exclude-from=$exclude_file --delete $local_dir $remote_dir
优点:rsync算法进行增量传输
缺点:每秒都去执行,耗资源
实例代码:可实现分时段,每秒进行同步
#!/bin/bash ############################## #功能:同步日志 #作者:300js #日期:2017/01/05 #调用:sync_log.sh [间隔时间<可选>] [循环次数<可选>] ############################## set -x t=$1 #外部间隔时间 c=$2 #外部循环次数 local_dir="/data/data/" #本地需要复制的目录 remote_dir="root@ip:/data/data/" #复制到远程的目录 exclude_file="/data/sh/exclude_log.txt" #排除的文件 hour_start=9 #开始时间 hour_end=23 #结束时间 double=100 #多少倍的时间 timeout=${t:=3} # 间隔时间 count=${c:=18} #循环次数 i=1 #自增i ######################################################################################## hour=`date +%H` hour_int=`expr $hour + 0` if (( $hour_int < $hour_start || $hour_int > $hour_end )) #判断时间段,除9~23工作时间段,为非工作时间,调整间隔时间 then timeout=`expr $timeout \* $double` fi while (( $i <= $count )) do date=`date +%x%X` rsync -az --progress --exclude-from=$exclude_file --delete $local_dir $remote_dir if [ $? -eq 0 ] then echo "第$i次于$date执行成功,当前进程$$" else echo "第$i次于$date执行失败,当前进程$$" fi let "i++" sleep $timeout done
第二种:inotify+rsync
核心代码:/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y/%H:%M' --format '%Xe %w%f' -e modify,delete,create,attrib,move /data/
优点:相对rsync,无需每秒每行执行,以监控文件状态进行同步
缺点:若文件有变化,每次都执行一次rsync,浪费资源
需要先安装inotify
#!/bin/bash set -x ######################## #功能:监控文件的增,删,修 #作者:300js #时间:2017/01/09 #调用:watch_dir [监控目录] [远程目录root@path] [排除文件] [时间间隔<可选>] ######################## function watch_dir(){ path=$1 #监控目录 remote_dir=$2 #远程目录 exclude_file=$3 #排除文件 timeout=$4 #时间间隔 timeout=${timeout:=2} #默认间隔时间2秒 if [ -z $path ] || [ ! -e $path ] then echo "请输入目录或不存在" exit fi if [ -z $remote_dir ] then echo "远程目录为空,格式root@path" exit fi if [ -z $exclude_file ] || [ ! -e $exclude_file ] then echo "排除文件为空或不存在" exit fi cd $path /usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y/%H:%M' --format '%Xe %w%f' -e modify,delete,create,attrib,move ./ | while read file do #对文件进行判断 if [ -z $file] || [ ! -e $file ] then echo "文件为空或不存在,详细file:$file" continue fi ino_mode=$(echo $file |awk '{print $1}') ino_file=$(echo $file |awk '{print $2}') dir=$(dirname $ino_file) echo $dir >> watch.log echo "当前模式:${ino_mode}" #删除、移动出事件 if [[ $ino_mode =~ 'DELETE' ]] || [[ $ino_mode =~ 'MOVED_FROM' ]] then echo "删除目录:$dir,文件:$ino_file" rsync -avz --exclude-from=$exclude_file --delete $dir $remote_dir else echo "变动目录:$dir,文件:$ino_file" rsync -avz --exclude-from=$exclude_file $dir $remote_dir fi if [ $? -eq 0 ] then echo "远程同步成功" else echo "远程同步失败,错误号:$?" fi sleep $timeout done } path="/data/" remote_dir="root@ip:/data/log/test/" #复制到远程的目录 exclude_file="/data/sh/exclude_log.txt" #排除的文件 watch_dir $path $remote_dir $exclude_file
第三种:lsyncd
核心代码:lsyncd -rsyncssh /data/ root@ip /data/
优点:Lysncd 实际上是lua语言封装了 inotify 和 rsync 工具,采用了 Linux 内核(2.6.13 及以后)里的 inotify 触发机制,然后通过rsync去差异同步,达到实时的效果。我认为它最令人称道的特性是,完美解决了 inotify + rsync
海量文件同步带来的文件频繁发送文件列表的问题 —— 通过时间延迟或累计触发事件次数实现。另外,它的配置方式很简单,lua本身就是一种配置语言,可读性非常强。lsyncd也有多种工作模式可以选择,本地目录cp,本地目录rsync,远程目录rsyncssh。
参考:http://seanlook.com/2015/05/06/lsyncd-synchronize-realtime/
安装:环境centos6.5
#yum install lua lua-devel #cd lsyncd #cmake -DCMAKE_INSTALL_PREFIX=/usr/local/lsyncd #make && make install
#ln -s /usr/local/lsyncd/bin/lsyncd /usr/sbin/
或直接:yum -y install lsyncd 安装
启动
调试模式:
#lsyncd -nodaemon -rsyncssh /data/ root@ip /data/
正式模式
#lsyncd -rsyncssh /data/ root@ip /data/
#参考的文档
https://github.com/axkibe/lsyncd/wiki
http://www.tuicool.com/articles/VBzmm2
https://code.google.com/archive/p/lsyncd/downloads
注:两台机器或多台机器,保证rsync版本为3.1.x以上,否则会报错:rsync : on remote machine: --delete-missing-args: unknown option
本文来自博客园,作者:三百里江山,转载请注明原文链接:https://www.cnblogs.com/300js/articles/6273585.html