rsync实现负载均衡集群文件同步,搭建线上测试部署环境
闲来无事,搭建一个负载均衡集群,至于负载均衡集群搭建过程,找时间写下。这次主要写集群之间的文件同步,以及线上测试环境的搭建。
笔者看过很多公司都没有线上测试环境,真是崩溃了,不造怎么确保线上线下环境一致的。
笔者此次使用三台服务器:
192.168.138.3 web服务器
192.168.138.4 web服务器
192.168.138.10 web服务器+线上测试环境+源站
其中3 4 服务器作为集群中的web服务器,对外开放,是负载均衡集群的部分。
其中10 服务器不对外开放,代码发布到该服务器,在该服务器上进行测试,完成后程序由该服务器同步到其他集群服务器上,同时网站后台以及自动脚本位于该服务器上。(如果为了安全期间,大家可以对该服务器进行配置,只允许你们公司内部网络访问,在家时通过VPN连接内部网络,这样就可以确保后台安全)
本文主要是大家rsync服务,至于IP配置,web服务器搭建,大家可以看我之前的文章。
这里我们为了开发方便,在10服务器上制定一个规则,即只要rsync.txt存在我们就开始同步,这样只要开发上传该文件同步就开始,同步完成后自动删除该文件。
第一步:笔者这里安装的是centos6.4 已经默认安装了rsync 所以笔者就不再进行安装,未安装的可以自行安装,过程相对简单
第二步:安装inotify inotify-tools
笔者这里centos6.4已经默认安装了inotify , 如果要查看是否安装可以使用如下命令
ll /proc/sys/fs/inotify
如果列出如下三项,则证明已经安装
-rw-r--r-- 1 root root 0 2月 1 13:59 max_queued_events
-rw-r--r-- 1 root root 0 2月 1 13:59 max_user_instances
-rw-r--r-- 1 root root 0 2月 1 13:59 max_user_watches
没有安装的读者可以自行安装,然后我们需要安装inotify-tools工具
tar -zxvf inotify-tools-3.14.tar.gz cd inotify-tools-3.14 ./configure --prefix=/usr/local/inotify-tools make && make install
第三步:对客户端 服务端进行配置
讲之前一定要搞清楚 10是客户端 3 4 是否服务端 这个不要搞倒了 是10的文件同步到3 4 上面
首先对 3 4 进行配置,这里笔者贴出自己的配置文件 /etc/rsyncd.conf
uid = nobody gid = nobody use chroot = no max connections = 10 strict mode = no pid file = /var/run/rsyncd.pid lock file = /var/run/rsync.lock log file = /usr/data/rsync/rsyncd.log [laiwojia-data] path = /usr/website/html/www.laiwojia.la/data/ comment = web4 files ignore errors read only = no write noly = no hosts allow = 192.168.138.10 hosts deny = * list = false uid = root gid = root auth users = laiwojia secrets file = /usr/local/rsync/conf/server.pass [laiwojia] path = /usr/website/html/www.laiwojia.la/ comment = web4 files ignore errors read only = no write noly = no hosts allow = 192.168.138.10 hosts deny = * list = false uid = root gid = root auth users = laiwojia secrets file = /usr/local/rsync/conf/server.pass
我们这里配置了两个模块 'laiwojia-data'和'laiwojia' ,其中'laiwojia-dada'只要发生变化就要同步的(想想大家把后台放在10上面,那么这个data里面的文件就是后台生成的持久化文件,后台配置,然后整个集群通用),而'laiwojia'了这个模块是发布系统所用的模块,需要在站点下有'rsync.txt'文件时才同步。(由此我们可以看出,'data'中的文件不能通过发布系统发布)
看了上面的配置,大家就明白,'/usr/website/html/www.laiwojia.la/data/'这个目录必须存在, '/usr/local/rsync/conf/server.pass'这个秘密文件也必须存在
秘密文件中的内容为
laiwojia:123abc+-
记住3 4 作为服务端 密码文件要有前缀 有的淫写成 '123abc+-' 后面就会不通过
然后我们对10进行配置,这里笔者贴出配置文件
uid = nobody gid = nobody use chroot = no max connections = 10 strict mode = yes pid file = /var/run/rsyncd.pid lock file = /var/run/rsync.lock log file = /usr/data/rsync/rsyncd.log
然后还要建立一个秘密文件'/usr/local/rsync/conf/server.pass' 由于10是客户端,因此秘密没有前缀
123abc+-
第四步:编写shell脚本
首先是改变就同步的shell脚本,我们命名为 'inotify-ha-rsync.sh' 内容为
#!/bin/bash host3=192.168.138.3 host4=192.168.138.4 src=/usr/website/html/www.laiwojia.la/data/ dst3=laiwojia-data dst4=laiwojia-data user=laiwojia /usr/local/inotify-tools/bin/inotifywait\ -mrq --timefmt '%d/%m/%y'\ --format '%T %w%f%e'\ -e modify,delete,create,attrib $src\ |while read files do /usr/bin/rsync -vzrtopg --delete --progress --password-file=/usr/local/rsync/conf/server.pass $src $user@$host3::$dst3 /usr/bin/rsync -vzrtopg --delete --progress --password-file=/usr/local/rsync/conf/server.pass $src $user@$host4::$dst4 echo "${files} was rsyncd" >>/tmp/rsync.log 2>&1 done
OK,我们来测试下
在'/usr/website/html/www.laiwojia.la/data/' 目录下建立test.php 并改写其内容,我们看看结果(事先要运行这个shell)
vim test.php #以下是内容 <?php this is a test hello tom!
看看运行结果
然后看看3 和 4 机器上是否有test.php 发现两个中都有test.php 文件,好了我们看看内容
cat test.php
<?php
this is a test
hello tom
OK,这个实时同步的算是完成了
剩下我们要看看考虑到线上测试部署的,首先我们还是要建立一个shell脚本,命名为ha-rsync.sh,内如如下
!/bin/bash host3=192.168.138.4 host4=192.168.138.3 src=/usr/website/html/www.laiwojia.la/ excludedir=$src"data/" $src"rsync.txt" dst3=laiwojia dst4=laiwojia user=laiwojia rsync_file=${src}"rsync.txt" if [ -f "$rsync_file" ] then /usr/bin/rsync -vzrtopg --delete --progress --exclude=$excludedir --password-file=/usr/local/rsync/conf/server.pass $src $user@$host3::$dst3 /usr/bin/rsync -vzrtopg --delete --progress --exclude=$excludedir --password-file=/usr/local/rsync/conf/server.pass $src $user@$host4::$dst4 fi rm -rf $src"rsync.txt"
好我们来测试下
touch rsync.txt touch test.html
然后运行脚本,到各个服务器上看看,是不是都有了。这样的话,如果你把代码发到10上,没有rsync.txt就不会同步,那么这是测试可以进行线上测试,等测试好了,开发就上传一个rsync.txt 然后就开始同步了
当然了,这里还可以搞得更复杂,比如安全起见,一些配置文件不要让它同步以免某天你发错了把本地的给发上去了,还可以指定那些目录不同步,等等,这些都可以实现,只不过shell写的复杂一点而已
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· Linux系列:如何用 C#调用 C方法造成内存泄露
· AI与.NET技术实操系列(二):开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· 单线程的Redis速度为什么快?
· SQL Server 2025 AI相关能力初探
· 展开说说关于C#中ORM框架的用法!
· AI编程工具终极对决:字节Trae VS Cursor,谁才是开发者新宠?