rsync+sersync部署
1. rsync安装部署 ,rsync服务端（10.1.8.11）
服务端配置 [root@web2 ~]# rpm -qa rsync 查询是否安装 [root@web2 ~]# yum install rsync 安装rsync [root@web2 ~]# useradd rsync -s /sbin/nologin -M 建立rsync用户 [root@web2 ~]# mkdir /backup 建立同步文件目录 [root@web2 ~]# chown -R rsync.rsync /backup backup目录属主为rsync [root@web2 ~]# touch /etc/rsync.password 建立密码文件 [root@web2 ~]# vim /etc/rsync.password 编辑密码文件 rsync_backup:123456 [root@web2 ~]# chmod 600 /etc/rsync.password 密码文件权限设置 [root@web2 ~]# echo "rsync --daemon">>/etc/rc.local 让开机自启动 [root@web2 ~]# vim /etc/rsyncd.conf 默认是没有配置文件，新建上去 sync server #sync server conif________________________________start #created by xiaoyi 00:00 2015-07-24 uid = rsync ##连接用户，客户端连接的用户权限 gid = rsync ##连接用户 use chroot = no ##安全目录 max connections = 2000 ##同时连接的最低用户数 timeout = 600 ##超时时间 pid file = /var/run/rsyncd.pid ##pid文件，进程号 lock file = /var/run/rsync.lock ##锁文件 log file = /var/lob/rsyncd.log ##日志文件 ignore errors ##忽略错误 read only = false ##可读写，远程客户端可以读写 list = false ##远程客户端不能列表， hosts allow = 192.168.1.0/24 ##允许的网段 hosts deny = 0.0.0.0/32 ##一般不用==== auth users = rsync_backup #远程连接的虚拟的用户， secrets file = /etc/rsync.password ##存放用户密码的文件 comment = backup server by xiaoyi ##comment 注释的意思 [backup] ##模块，共享一个目录 path = /backup/ ##共享的目录 #rsync server config__________________________________end
2.rsyncd.conf配置
sync server # rsync start uid = root gid = root use chroot = no max connections = 200 port = 873 timeout = 600 pid file = /var/run/rsyncd.pid lock file = /var/run/rsync.lock log file = /var/log/rsyncd.log auth users = ph_rsync secrets file = /etc/rsync.pas # /data/wwwroot/ [data] comment = pinhui001 v2.5 ignore errors read only = false hosts allow = 10.1.8.0/24 hosts deny = * path = /data/wwwroot/ # end
3.客户端配置,rsync客户端
[root@nginx ~]# yum install rsync 安装服务 [root@nginx ~]# echo "123456">/etc/rsync.password 建立密码文件 [root@nginx ~]# chmod 600 /etc/rsync.password 权限更改 [root@nginx ~]# rsync -avz /etc/ rsync_backup@192.168.1.101::backup --password-file=/etc/rsync.password 客户端文件推送到rsync服务器
4.防火墙配置
Iptables -A INPUT –s 192.168.1.2/24 –p tcp –m tcp –dport 873 –j ACCEPT 允许固定的办公室网发布程序传输同步 -A INPUT –s 192.168.1.2/255.255.255.O –p tcp –m tcp –dport 873 –j ACCEPT
#.sersync优点：
1.c++编写，可以对临时文件和重复文件操作进行过滤
2.配置简单
3.使用多线程进行同步
4.自带出错处理机制，通过失败队列对出错的文件重新同步，如果还失败，配置若干小时再传
5.sersync自带crotab功能，只需在xml配置文件中开启
6.sersync自带socket与http的协议扩展，可以满足有特殊需求的二次开发
#处理机制
inotify--过滤队列--线程组--调用rsync线程---远程服务器
1.sersync安装 ，rsync客户端，监控端（10.1.8.10）---把10.1.8.10机器上的目录自动同步到10.1.8.11 rsync服务端
mkdir /server/tools -p wget https://storage.googleapis.com/google-code-archive-downloads/v2/code.google.com/sersync/sersync2.5.4_64bit_binary_stable_final.tar.gz tar -zxvf sersync2.5.4_64bit_binary_stable_final.tar.gz -C /usr/local cd /usr/local mv GNU-Linux-x86 sersync
2.sersync配置
[root@s sersync]# cd /usr/local/sersync/ [root@s sersync]# mkdir conf bin logs [root@s sersync]# mv confxml.xml conf [root@s sersync]# mv sersync2 bin/sersync [root@s conf]# cp /usr/local/sersync/conf/confxml.xml confxml.xml.bak
3.sersync文件配置，rsync客户端，监控端（10.1.8.10）---把10.1.8.10机器上的目录自动同步到10.1.8.11 rsync服务端
<?xml version="1.0" encoding="ISO-8859-1"?>
<headversion="2.5">
<hosthostip="localhost"port="8008"></host>
<debugstart="false"/> <--!调试模式是否打开-->
<fileSystemxfs="false"/>
<filterstart="true"> <--!文件过滤，定义哪些文件不同步--> # false不开启过滤功能，true开启功能
<exclude expression="(.*)/runtime/*"></exclude> # 定义所以目录runtime下的文件不同步
<!--<excludeexpression="(.*)\.svn"></exclude>-->
<!--<excludeexpression="(.*)\.gz"></exclude>-->
<!--<excludeexpression="^info/*"></exclude>-->
<!--<excludeexpression="^static/*"></exclude>-->
</filter>
<inotify> <--!定义监控哪些事件-->
<deletestart="true"/>
<createFolderstart="true"/>
<createFilestart="false"/>
<closeWritestart="true"/>
<moveFromstart="true"/>
<moveTostart="true"/>
<attribstart="false"/>
<modifystart="false"/>
</inotify>
<sersync>
<localpathwatch="/data/www"> # <--!本地需要推送到rsync服务器的目录-->
<remoteip="192.168.1.161"name="backup"/> # <--!需要同步到远端服务器的主机及rsync模块-->
<!--<remote ip="192.168.8.39" name="tongbu"/>-->
<!--<remote ip="192.168.8.40" name="tongbu"/>-->
</localpath>
<rsync>
<commonParamsparams="-artuz"/> <--!同步的参数 -->
<authstart="true"users="root"passwordfile="/etc/rsync.pas"/> # <--!同步认证，同步用户名，同步密码文件-->
<userDefinedPortstart="false"port="874"/><!-- port=874 --> <--!同步端口号-->
<timeoutstart="false"time="100"/><!-- timeout=100 --> <--!同步超时时间，一般打开-->
<sshstart="false"/> <--!ssh隧道是否开启，一般不开启-->
</rsync>
<failLogpath="/usr/local/sersync/logs/rsync_fail_log.sh"timeToExecute="60"/><!--default every 60mins execute once--> <--!传输失败队列，没60分钟执行一次-->
<crontabstart="false"schedule="600"><!--600mins--> <--!定时传-->
<crontabfilterstart="false">
<excludeexpression="*.php"></exclude>
<excludeexpression="info/*"></exclude>
</crontabfilter>
</crontab>
<pluginstart="false"name="command"/>
</sersync>
<pluginname="command">
<paramprefix="/bin/sh"suffix=""ignoreError="true"/><!--prefix /opt/tongbu/mmm.sh suffix-->
<filterstart="false">
<includeexpression="(.*)\.php"/>
<includeexpression="(.*)\.sh"/>
</filter>
</plugin>
<pluginname="socket">
<localpathwatch="/opt/tongbu">
<deshostip="192.168.138.20"port="8009"/>
</localpath>
</plugin>
<pluginname="refreshCDN">
<localpathwatch="/data0/htdocs/cms.xoyo.com/site/">
<cdninfodomainname="ccms.chinacache.com"port="80"username="xxxx"passwd="xxxx"/>
<sendurlbase="http://pic.xoyo.com/cms"/>
<regexurlregex="false"match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
</localpath>
</plugin>
</head>
4.配置环境变量
[root@s conf]# echo 'export PATH=$PATH:/usr/local/sersync/bin'>>/etc/profile [root@s conf]# source /etc/profile
5.启动命令,-r第一次全部同步，-d守护进程，-o指定配置文件
[root@master www]# sersync -r -d -o /usr/local/sersync/conf/confxml.xml set the system param execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events parse the command param option: -r rsync all the local files to the remote servers before the sersync work option: -d run as a daemon option: -o config xml name： /usr/local/sersync/conf/confxml.xml daemon thread num: 10 parse xml config file XML Parsing error inside file '/usr/local/sersync/conf/confxml.xml'. Warning: Unmatched end tag At line 52, column 15.
6.sersync参数说明
sersync -r 第一次全部同步
-o 指定配置文件
-n 指定线程总数
-d 后台服务
--help 帮助
7.sersync插件(开启插件设置)，plugin设置为true时才生效，name为调用的插件,目前支持command refreshCDN socket http四中插件，http插件去除了
<plugin start="true" name="command"/>
8.sersync压力测试[root@LB02 ~]# dmidecode | grep "Product Name" ProductName: IBM System x3650 M4:-[7915K3G]- ProductName:00MV214 [root@LB02 ~]# grep name /proc/cpuinfo model name :Intel(R)Xeon(R) CPU E5-2609 v2 @2.50GHz model name :Intel(R)Xeon(R) CPU E5-2609 v2 @2.50GHz model name :Intel(R)Xeon(R) CPU E5-2609 v2 @2.50GHz model name :Intel(R)Xeon(R) CPU E5-2609 v2 @2.50GHz [root@LB02 ~]# grep MemTotal/proc/meminfo MemTotal:32688332 kB tar -zxvf webbench-1.5.tar.gz cd webbench-1.5 make make install /usr/local/bin/webbench -t 100-c 1000 http://blog.xiaoyi.com/
#!/bin/sh count=80 while true do for((i=1;i<=$count;i++)) do /bin/cp 10k.jpg /backup/test/$i/10k_`echo $(date)$RANDOM|md5sum |cut -c 1-8`.jpg done sleep 1 for((i=1;i<=$count;i++)) do /bin/cp 30k.jpg /backup/test/$i/30k_`echo $(date)$RANDOM|md5sum |cut -c 1-8`.jpg done sleep 1 for((i=1;i<=$count;i++)) do /bin/cp 50k.jpg /backup/test/$i/50k`echo $(date)$RANDOM|md5sum |cut -c 1-8`.jpg done sleep 1 done
https://www.cnblogs.com/blsnt/p/9886548.html
