系统访问量上去遇到了性能瓶颈,解决方法一般都是从两个方向入手Scale Up 和Scale Out。Scale Up适用于哪些钱多的系统,因为Scale Up其实就是直接升级硬件,CPU、内存、IO哪个不够了就升级哪个,随着计算能力的升级系统的容量自然就上来了。但是为什么Scale Up只适用于有钱人,很简单因为硬件是越高级越贵啊,而且不只是线性的增长,因为有时候2倍的IO性能可能需要花费你10倍的钱呢,而且Scale Up还不利于利旧这一(“穷人”)原则,淘汰下来的硬件环境难道都拿来做开发测试环境?。在云时代就先不详细讨论Scale Up的方法了,我们考虑一下Scale Out,Scale Out方案是入门门槛低,旧的环境都可以充分利用,因为Scale out就是横向扩展,系统压力上来了,你只需要拼机器(不是拼爹)。
基于Http的Scale Out的方案有挺多的,性能和口碑都不错的Nginx,Windows上面 IIS微软直接支持的Application Request Router都挺好,在BingoCC上面还可以直接的下单订购http的弹性支持负载均衡。不过客户的需求是无限的,这两天客户就希望我们能够同时支持http和TCP的负载均衡,因为客户有个消息推送服务是基于TCP协议开发的,如果要改造成http的比较麻烦。之前都是采用nginx的,不过nginx对TCP的支持模块不是包含在原生的发布包里面的,所以暂时没考虑。另外找到了haproxy,准备测试验证一下需求是否满足。
1.验证环境的考虑
带WEB网站+TCP的端口开放魔兽私服是一个不错的验证环境,因为私服需要有账号注册的网站,也有游戏客户端登陆游戏的TCP链接。
WEB网站:开放8888端口的PHP注册网站
验证服务:3724端口
游戏服务:8085端口
2.搭建环境:
购买两台Windows 的服务器
最后订单下来后是购买了两台服务器的参数
状态:运行中 存储:(无)按需: 1.00元/小时
私有IP:172.167.1.238
公网IP:(无) 绑定
状态:运行中 存储:(无)按需: 1.00元/小时
私有IP:172.167.1.239
公网IP:(无) 绑定
2.1 配置Wow测试服务器
我用来测试的Wow服务器是从网上下载回来的TrinityCore环境,可以一键把MySQL,和WEB还有游戏的世界服务器都搭建起来,下面的配置只是针对测试环境的要求对配置进行了一些更改。
一键安装完之后系统就会自动启动了Apache的Php环境,通过IE访问http://localhost:8888 的话就可以看到游戏账号的注册页面了。
2.2配置MySQL
为了测试多台服务器公用一套用户数据,需要将MySQL的账号允许多台机器访问,所以要执行一下下面的命令:
GRANT ALL PRIVILEGES ON *.* TO 'trinity'@'%' IDENTIFIED BY 'trinity' WITH GRANT OPTION; FLUSH RIVILEGES;
2.3修改Wow的AuthServer和World Server配置
AuthServer.conf里面的配置LoginDatabaseInfo = "127.0.0.1;3306;trinity;trinity;logon"
修改为:
LoginDatabaseInfo = "172.167.1.239;3306;trinity;trinity;logon"
worldserver.conf的配置修改为
LoginDatabaseInfo = "172.167.1.239;3306;trinity;trinity;logon" WorldDatabaseInfo = "172.167.1.239;3306;trinity;trinity;world" CharacterDatabaseInfo = "172.167.1.239;3306;trinity;trinity;chars"
2.4一台linux服务器连公网IP
因为我们是通过这台linux里面的haproxy反向代理背后的两台Windows服务器的,所以只需要一个公网IP就好了。
linux服务器的配置信息:
状态:运行中 存储:(无)包天: 10.00元/天
私有IP:172.167.1.237
公网IP:电信独享2M 113.108.230.97
2.5haproxy的配置
用putty链接到Cent OS的服务器:
cd /tmp
wget http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.22.tar.gz
tar zxvf haproxy-1.4.22.tar.gz
cd haproxy-1.4.22.tar.gz
make install
cd examples
mkdir /etc/haproxy
cp haproxy.cfg /etc/haproxy/
cd /ect/haproxy
vim haproxy.cfg
然后根据需要把配置分别改为下面这些部分
http的配置
listen appli1-rewrite 0.0.0.0:80
option httplog
cookie SERVERID rewrite
balance roundrobin
server app1_1 172.167.1.238:8888 cookie app1inst1 check inter 2000 rise 2 fall 5server app1_1 172.167.1.239:8888 cookie app1inst1 check inter 2000 rise 2 fall 5
TCP的配置方法,TCP因为涉及到验证端口和游戏端口所以有两部分配置
验证端口配置
listen wowauth 0.0.0.0:3724
mode tcp
option tcplog
tcp-request inspect-delay 5s
server appwow 172.167.1.238:3724server appwow2 172.167.1.239:3724
游戏端口配置
listen Wow 0.0.0.0:8085
mode tcp
option tcplog
tcp-request inspect-delay 5s
option tcpka
server appwow 172.167.1.238:8085server appwow2 172.167.1.239:8085
2.6启动haproxy
haproxy –f haproxy.cfg –p hap.pid
注意:-p参数,因为只有这样你下次更新配置是才能通过haproxy –f haproxy.cfg –p hap.pid –sf $(cathap.pid)命令行实现,否者你要手动Kill
3.验证
验证WEB
访问http://113.108.230.97 这个地址我们可以看到了游戏账号的注册界面,在windows服务器上配置的是8888端口,通过haproxy后我们通过80端口就可以访问了,反向代理成功
验证游戏服务器
启动Wow.exe,输入刚才注册的账号密码,登陆成功。
让另外一个同事也登陆该服务器,结果也登陆成功了,不过可惜的是因为TrinityCore是不支持Scale Out的,haproxy把我的同事的游戏账号分配到另外一个WoW世界服务器去了,虽然他能够加我的账号为好友,但是我们同时在世界里喊话是无法收到的。可见haproxy是可以帮你把TCP请求均衡到了不同的服务器上的。
4.测试结果
haproxy能够轻松通过配置完成WEB和TCP的反向代理完成负载均衡的任务。可惜的是Wow服务器不支持服务器间的数据同步(可能由于游戏本身的对数据的实时性要求比较高吧),否则我们可以通过云主机的横向扩展创建个万人在线服务器玩玩了。
5.技巧
由于你没有为后端的两台Windows服务器购买外网IP,所以没法通过RDP链接到这服务器上,你是没法安装Wow服务器的你可以
- 购买个按需的IP绑定到服务器上面,用完之后释放,这样的话你能够在一小时内搞定,你只需要花1块钱。
- 利用Haproxy,做远程桌面端口的反向代理,这样你就可以通过一个IP链接两台windows服务器了
Windows的远程桌面RDP配置
listen RemoteDesktop 0.0.0.0:3389
mode tcp
option tcplog
tcp-request inspect-delay 5s
tcp-request content accept if RDP_COOKIE
persist rdp-cookie
balance rdp-cookie
option tcpka
server appRD 172.167.1.238:3389
listen RemoteDesktop 0.0.0.0:5000
mode tcp
option tcplog
tcp-request inspect-delay 5s
tcp-request content accept if RDP_COOKIE
persist rdp-cookie
balance rdp-cookie
option tcpka
server appRD 172.167.1.239:3389