文件同步rsync
通过使用rsync作为文件同步服务器，通过sersync + inotify-tools监控文件变化，调用rsync实现增量同步至rsync远程文件服务器
1. 环境：
服务器：centos 7: 192.168.41.49
客户端：centos 7：192.168.3.88
2. 安装部署：
- 安装：yum install rsync -y
- 配置：
-
rsyncd 配置文件：
vim /etc/rsyncd.conf
-
-
uid = rsync gid = rsync fake super = yes use chroot = no ignore errors = yes max connections = 200 timeout = 600 pid file = /var/run/rsyncd.pid log format = %o %h [%a] %m (%u) %f %l lock file = /var/run/rsync.lock log file = /var/log/rsyncd.log read only = false list = false [app_backup] comment = welcome to app scan backup! path = /opt/xScan/mercury/data/app_wait_parse/ hosts allow = 192.168.3.0/24 auth users = rsync_app_backup secrets file = /etc/rsync.passwd
- [app_backup] : 要备份的模块名，[...]
- comment: 注释
- path：同步的文件目录，注意设置目录权限为uid可读写
- hosts allow： 允许同步到此目录的主机ip地址
- auth users: 同步时使用的账号
- secrets file：通过使用的密码所在文件，密码文件权限为600
- 配置文件格式与ini类型，外城为全局变量，模块内为模块局部变量
-
- 配置模块登陆用户的密码文件：/etc/rsync.passwd
echo "rsync_app_backup:app_backup" > /etc/rsync.passwd # 有用户+”:”+密码构成 chmod 600 /etc/rsync.passwd
- 添加非登陆用户：
useradd -s /sbin/nologin -M rsync id rsync chown -R rsync.rsync /opt/xScan/mercury/data/app_wait_parse/
- 部署启动：
# systemctl 启动
systemctl restart rsyncd
# 设置开机启动
systemctl enable rsyncd
# daemon 启动
rsync --daemon --config=/etc/rsyncd.conf
3. sersync 安装部署
- 安装
[root@test02 ~]# cd /opt/ [root@test02 opt]# wget https://storage.googleapis.com/google-code-archive-downloads/v2/code.google.com/sersync/sersync2.5.4_64bit_binary_stable_final.tar.gz [root@test02 opt]# tar xvf sersync2.5.4_64bit_binary_stable_final.tar.gz [root@test02 opt]# mv GNU-Linux-x86/ /usr/local/sersync/
- 依赖：inotify，centos7 默认支持，确认：
[root@test02 ~]# ll /proc/sys/fs/inotify 总用量 0 -rw-r--r--. 1 root root 0 12月 28 19:35 max_queued_events -rw-r--r--. 1 root root 0 12月 28 17:16 max_user_instances -rw-r--r--. 1 root root 0 12月 28 19:35 max_user_watches [root@test02 ~]#
- 调整inotify：应用于监控的目录中包含文件和目录数量较多的情况
- 查看默认参数：
- sysctl -a | grep max_queued_events
- sysctl -a | grep max_user_instances
- sysctl -a | grep max_user_watches
- 修改：
- sysctl -w fs.inotify.max_queued_events="99999999"
- sysctl -w fs.inotify.max_user_watches="99999999"
- sysctl -w fs.inotify.max_user_instances="65535"
- 保存生效：
- sysctl -p
- 配置
<?xml version="1.0" encoding="ISO-8859-1"?> <head version="2.5"> <host hostip="localhost" port="8008"></host> <debug start="false"/> <fileSystem xfs="false"/> <filter start="false"> <!-- 过滤 --> <exclude expression="(.*)\.svn"></exclude> <exclude expression="(.*)\.gz"></exclude> <exclude expression="^info/*"></exclude> <exclude expression="^static/*"></exclude> </filter> <inotify> <!-- 监控事件 --> <delete start="true"/> <createFolder start="true"/> <createFile start="false"/> <closeWrite start="true"/> <moveFrom start="true"/> <moveTo start="true"/> <attrib start="false"/> <modify start="false"/> </inotify> <sersync> <!-- 监控待同步目录 --> <localpath watch="/opt/xScan/mercury/data/app_wait_parse"> <remote ip="192.168.41.49" name="app_backup"/> <!--<remote ip="192.168.8.39" name="tongbu"/>--> <!--<remote ip="192.168.8.40" name="tongbu"/>--> </localpath> <rsync> <commonParams params="-artuz"/> <auth start="true" users="rsync_app_backup" passwordfile="/etc/rsync_app_backup.passwd"/> <userDefinedPort start="false" port="874"/><!-- port=874 --> <timeout start="false" time="100"/><!-- timeout=100 --> <ssh start="false"/> </rsync> <failLog path="/opt/xScan/mercury/data/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once--> <crontab start="false" schedule="600"><!--600mins--> <crontabfilter start="false"> <exclude expression="*.php"></exclude> <exclude expression="info/*"></exclude> </crontabfilter> </crontab> <plugin start="false" name="command"/> </sersync>
- 配置密码文件(注意客户端与服务器的密码文件不同)：
[root@test03 sersync]# echo 'app_backup' > /etc/rsync_app_backup.passwd [root@test03 sersync]# chmod 600 /etc/rsync_app_backup.passwd
- 部署启动：
[root@test03 sersync]# nohup /usr/local/sersync/sersync2 -r -d -o /usr/local/sersync/confxml.xml > /var/log/sersync.log 2>&1 &
-d:启用守护进程模式
-r:在监控前，将监控目录与远程主机用rsync命令推送一遍
-n:指定开启守护线程的数量，默认为10个
-o:指定配置文件，默认使用confxml.xml文件
