sersync实时同步实战

第1章实时同步

1.1 什么是实时同步

实时同步是一种只要当前目录触发事件，就马上同步到远程的目录。rsync

1.2 为什么要实时同步web->nfs->backup

保证数据的连续性（定时任务是以分钟为单位的）

减少人力维护成本

1.3 实时同步工具的选择

inotify+RSYNC（x）

sersync+RSYNC（√）

lsyncd

第2章实时备份实践

2.1 准备环境

角色	外网IP(NAT)	内网IP(LAN)	安装工具
web01	eth0:10.0.0.7	eth1:172.16.1.7
nfs-server	eth0:10.0.0.31	eth1:172.16.1.31	rsync+inotify+sersync
backup	eth0:10.0.0.41	eth1:172.16.1.41	rsync-server

2.2 配置好backup服务器

2.2.1 安装rsync

[root@backup ~]# yum install rsync -y

2.2.2 配置rsync

[root@backup ~]# vi /etc/rsyncd.conf
uid = rsync
gid = rsync
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = true
secrets file = /etc/rsync.password
auth users = rsync_backup
log file = /var/log/rsyncd.log
#####################################
[backup]
path = /backup
 
[data]
path = /data

2.2.3 创建数据目录

[root@backup ~]# mkdir /backup

[root@backup ~]# mkdir /data

2.2.4 创建用户并授权

[root@backup ~]# useradd -M -s /sbin/nologin rsync

[root@backup ~]# chown -R rsync.rsync /backup/ /data/

[root@backup ~]# ll -d /backup/ /data/

drwxr-xr-x 7 rsync rsync 256 9月   7 08:52 /backup/

drwxr-xr-x 2 rsync rsync   6 9月   7 11:44 /data/

2.2.5 创建链接的虚拟用户密码文件并赋予600权限

[root@backup ~]# echo "rsync_backup:1" /etc/rsync.password

[root@backup ~]# chmod 600 /etc/rsync.password

2.2.6 启动rsyncd

[root@backup ~]# systemctl restart rsyncd

2.3 配置好nfs服务器

2.3.1 安装nfs

[root@nfs ~]# yum install nfs-utils -y

2.3.2 配置nfs

[root@nfs ~]# vim /etc/exports

/data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)

2.3.3 配置nfs依赖环境

[root@nfs ~]# groupadd -g 666 www

[root@nfs ~]# useradd -u 666 -g 666 www

[root@nfs ~]# mkdir /data

[root@nfs ~]# chown -R www.www /data

2.3.4 启动nfs

[root@nfs ~]# systemctl enable rpcbind nfs-utils

[root@nfs ~]# systemctl start rpcbind nfs-server

2.4 配置好web服务器

2.4.1 先安装对应的工具包

[root@web01 ~]# yum install nfs-utils -y

[root@web01 ~]# systemctl start rpcbind

2.4.2 创建目录，用于挂载使用

[root@web01 ~]# mkdir /data

2.4.3 挂载nfs的data目录

[root@web01 ~]# showmount -e 172.16.1.31

Export list for 172.16.1.31:

/data 172.16.1.0/24

[root@web01 ~]# mount -t nfs 172.16.1.31:/data /data

2.4.4 通过windows上传一个视频或图片至/data

[root@web01 ~]# wget http://img.mp.itc.cn/upload/20170511/cad88c2e57f44e93b664a48a98a47108_th.jpg

2.4.5 验证内容是否存在nfs服务器

[root@nfs ~]# ls /data/

cad88c2e57f44e93b664a48a98a47108_th.jpg  tes1  test

2.5 nfs共享的data目录一旦发生变化，实时的同步至backup

2.5.1 安装inotify-tools

[root@nfs ~]# yum install inotify-tools rsync -y

2.5.2 安装sersync

[root@nfs ~]# wget https://raw.githubusercontent.com/wsgzao/sersync/master/sersync2.5.4_64bit_binary_stable_final.tar.gz

2.5.3 解压并重命名

[root@nfs ~]# tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz

[root@nfs ~]# mv GNU-Linux-x86/ /usr/local/sersync

2.5.4 配置好sersync即可

[root@nfs01 sersync]# vim /usr/local/sersync/confxml.xml            vim进入文件以后按esc键，然后：set nu 显示行号，然后在进行修改对应行号需要修改的地方

 5     <fileSystem xfs="true"/>  <!-- 文件系统 -->
 6     <filter start="false">  <!-- 排除不想同步的文件-->
 7         <exclude expression="(.*)\.svn"></exclude>
 8         <exclude expression="(.*)\.gz"></exclude>
 9         <exclude expression="^info/*"></exclude>
 10         <exclude expression="^static/*"></exclude>
 11     </filter>

 12     <inotify> <!-- 监控的事件类型 -->
 13         <delete start="true"/>
 14         <createFolder start="true"/>
 15         <createFile start="true"/>
 16         <closeWrite start="true"/>
 17         <moveFrom start="true"/>
 18         <moveTo start="true"/>
 19         <attrib start="false"/>
 20         <modify start="false"/>
 21     </inotify>

 23     <sersync>
 24         <localpath watch="/data"> <!-- 监控的目录 -->
 25             <remote ip="172.16.1.41" name="data"/>  <!-- backup的IP以及模块 -->
 28         </localpath>

 29         <rsync> <!-- rsync的选项 -->
 30             <commonParams params="-az"/>
 31             <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.pass"/>

 32             <userDefinedPort start="false" port="874"/><!-- port=874 -->
 33             <timeout start="true" time="100"/><!-- timeout=100 -->
 34             <ssh start="false"/>
 35         </rsync>

            <!-- 每60分钟执行一次同步-->
 36         <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--def

    ault every 60mins execute once-->

2.5.5 sersync配置文件详解

<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
    #hostip本机的Ip地址，后台使用那个端口来进行实时备份
    <host hostip="localhost" port="8008"></host>
    #是否开启debug 调试信息
    <debug start="false"/>
    #是否支持xfs文件系统，如果有分区文件系统为xfs的时候，需要开启这个选项
    <fileSystem xfs="false"/>
    #是否开启过滤，排除
    <filter start="false">
    #exclude排除这些文件名中包含这些字符的，不推送这些
    <exclude expression="(.*)\.svn"></exclude>
    <exclude expression="(.*)\.gz"></exclude>
    <exclude expression="^info/*"></exclude>
    <exclude expression="^static/*"></exclude>
    </filter>
    #inotify模块的配置
    <inotify>
    #是否开启完全同步，源文件里面有什么，目标文件里面就有什么，特别危险，不开启
    <delete start="false"/>
    #是否监控目录，如果不开启他将不监控这个目录下的子文件和子目录的更改，除非有特殊要求，否则必须开启
    <createFolder start="true"/>
    #创建文件就监控，我们一般把这个设为false，否则太消耗性能
    <createFile start="false"/>
    #文件关闭的时候就推送，这个开启，新建文件打开这个就会对上面的进行备份了
    <closeWrite start="true"/>
    #mv剪切走
    <moveFrom start="true"/>
    #mv剪切到这个文件里面
    <moveTo start="true"/>
    #更改文件隐藏属性
    <attrib start="false"/>
    #监控权限更改就会推送，一般选择开启
    <modify start="true"/>
    </inotify>

    <sersync>
    #本地要备份的目录
    <localpath watch="/backup">
        #远程rsync的地址，和使用的模块
        <remote ip="10.0.0.61" name="backup_crond"/>
        <!--<remote ip="192.168.8.39" name="tongbu"/>-->
        <!--<remote ip="192.168.8.40" name="tongbu"/>-->
    </localpath>
    <rsync>
        #rsync推送的使用的参数
        <commonParams params="-az"/>
        #是不是开启用户认证，使用的那个用户，密码文件什么，密码文件权限必须是600
        <auth start="true" users="cron_backup" passwordfile="/etc/rsync_passwd_cron.conf"/>
        #服务端使用的那个端口，端口地址是什么
        <userDefinedPort start="false" port="874"/><!-- port=874 -->
        #推送超时时间，超过这个时间就认为推送不成功。
        <timeout start="true" time="300"/><!-- timeout=100 -->
        <ssh start="false"/>
    </rsync>
    <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
    <crontab start="false" schedule="600"><!--600mins-->
        <crontabfilter start="false">
        <exclude expression="*.php"></exclude>
        <exclude expression="info/*"></exclude>
        </crontabfilter>
    </crontab>
    <plugin start="false" name="command"/>
    </sersync>

    <plugin name="command">
    <param prefix="/bin/sh" suffix="" ignoreError="true"/>  <!--prefix /opt/tongbu/mmm.sh suffix-->
    <filter start="false">
        <include expression="(.*)\.php"/>
        <include expression="(.*)\.sh"/>
    </filter>
    </plugin>

2.5.6 创建密码文件

[root@nfs01 sersync]# echo "1" > /etc/rsync.pass        

[root@nfs ~]# chmod 600 /etc/rsync.pass

2.5.7 启动sersync

[root@nfs ~]# /usr/local/sersync/sersync2  -h
set the system param
execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command param
_______________________________________________________
参数-d:启用守护进程模式
参数-r:在监控前，将监控目录与远程主机用rsync命令推送一遍
参数-n: 指定开启守护线程的数量，默认为10个
参数-o:指定配置文件，默认使用confxml.xml文件
参数-m:单独启用其他模块，使用 -m refreshCDN 开启刷新CDN模块
参数-m:单独启用其他模块，使用 -m socket 开启socket模块
参数-m:单独启用其他模块，使用 -m http 开启http模块
不加-m参数，则默认执行同步程序
________________________________________________________________

[root@nfs ~]# /usr/local/sersync/sersync2 -dro /usr/local/sersync/confxml.xml

注意：如果发生错误，请手动执行命令检查推送是否正常

[root@nfs ~]# cd /data && rsync -avz -R --delete ./  --timeout=100 rsync_backup@172.16.1.41::data --password-file=/etc/rsync.pass

2.6 如果nfs现在down机了，希望将web客户端挂载至backup服务器上？怎么实现？

2.6.1 nfs和backup两台服务器应该保持一样（nfs配置。nfs共享的目录。nfs的权限）

[root@backup ~]# yum install nfs-utils -y

[root@backup ~]# rsync -avz root@172.16.1.31:/etc/exports /etc/

[root@backup ~]# groupadd -g 666 www

[root@backup ~]# useradd -u666 -g666 www

2.6.2 启动nfs

 [root@backup ~]# systemctl start rpcbind

 [root@backup ~]# systemctl start nfs-server

2.6.3 修改rsync的权限vim /etc/rsyncd.conf

uid = www

gid = www

2.6.4 修改授权

[root@backup ~]# chown -R www.www /data/ /backup/

2.6.5 重启rsync

[root@backup ~]# systemctl restart rsyncd

2.6.6 模拟nfs故障（挂起虚拟机）

2.6.7 web强制卸载172.16.1.31:/data

[root@web01 ~]# umount -lf /data

2.6.8 web尝试挂载172.16.1.41:/data

[root@web01 ~]# mount -t nfs 172.16.1.41:/data /data/

2.6.9 挂载成功后就可以查看共享目录/data了

posted @ 2018-09-09 15:27 歆玖阅读(657) 评论(0) 编辑收藏举报

刷新页面返回顶部

sersync实时同步实战

第1章 实时同步

1.1 什么是实时同步

1.2 为什么要实时同步web->nfs->backup

1.3 实时同步工具的选择

第2章 实时备份实践

2.1 准备环境

2.2 配置好backup服务器

2.2.1 安装rsync

2.2.2 配置rsync

2.2.3 创建数据目录

2.2.4 创建用户并授权

2.2.5 创建链接的虚拟用户密码文件并赋予600权限

2.2.6 启动rsyncd

2.3 配置好nfs服务器

2.3.1 安装nfs

2.3.2 配置nfs

2.3.3 配置nfs依赖环境

2.3.4 启动nfs

2.4 配置好web服务器

2.4.1 先安装对应的工具包

2.4.2 创建目录，用于挂载使用

2.4.3 挂载nfs的data目录

2.4.4 通过windows上传一个视频或图片至/data

2.4.5 验证内容是否存在nfs服务器

2.5 nfs共享的data目录一旦发生变化，实时的同步至backup

2.5.1 安装inotify-tools

2.5.2 安装sersync

2.5.3 解压并重命名

2.5.4 配置好sersync即可

2.5.5 sersync配置文件详解

2.5.6 创建密码文件

2.5.7 启动sersync

2.6 如果nfs现在down机了，希望将web客户端挂载至backup服务器上？怎么实现？

2.6.1 nfs和backup两台服务器应该保持一样（nfs配置。nfs共享的目录。nfs的权限）

2.6.2 启动nfs

2.6.3 修改rsync的权限vim /etc/rsyncd.conf

2.6.4 修改授权

2.6.5 重启rsync

2.6.6 模拟nfs故障（挂起虚拟机）

2.6.7 web强制卸载172.16.1.31:/data

2.6.8 web尝试挂载172.16.1.41:/data

2.6.9 挂载成功后就可以查看共享目录/data了

公告

第1章实时同步

第2章实时备份实践