系统访问量上去遇到了性能瓶颈,解决方法一般都是从两个方向入手Scale Up 和Scale Out。Scale Up适用于哪些钱多的系统,因为Scale Up其实就是直接升级硬件,CPU、内存、IO哪个不够了就升级哪个,随着计算能力的升级系统的容量自然就上来了。但是为什么Scale Up只适用于有钱人,很简单因为硬件是越高级越贵啊,而且不只是线性的增长,因为有时候2倍的IO性能可能需要花费你10倍的钱呢,而且Scale Up还不利于利旧这一(“穷人”)原则,淘汰下来的硬件环境难道都拿来做开发测试环境?。在云时代就先不详细讨论Scale Up的方法了,我们考虑一下Scale Out,Scale Out方案是入门门槛低,旧的环境都可以充分利用,因为Scale out就是横向扩展,系统压力上来了,你只需要拼机器(不是拼爹)。

基于Http的Scale Out的方案有挺多的,性能和口碑都不错的Nginx,Windows上面 IIS微软直接支持的Application Request Router都挺好,在BingoCC上面还可以直接的下单订购http的弹性支持负载均衡。不过客户的需求是无限的,这两天客户就希望我们能够同时支持http和TCP的负载均衡,因为客户有个消息推送服务是基于TCP协议开发的,如果要改造成http的比较麻烦。之前都是采用nginx的,不过nginx对TCP的支持模块不是包含在原生的发布包里面的,所以暂时没考虑。另外找到了haproxy,准备测试验证一下需求是否满足。

1.验证环境的考虑

带WEB网站+TCP的端口开放魔兽私服是一个不错的验证环境,因为私服需要有账号注册的网站,也有游戏客户端登陆游戏的TCP链接。

WEB网站:开放8888端口的PHP注册网站

验证服务:3724端口

游戏服务:8085端口

2.搭建环境:

购买两台Windows 的服务器

image

最后订单下来后是购买了两台服务器的参数


状态:运行中   存储:(无)

按需: 1.00元/小时

私有IP:172.167.1.238

公网IP:(无) 绑定


状态:运行中   存储:(无)

按需: 1.00元/小时

私有IP:172.167.1.239

公网IP:(无) 绑定

2.1 配置Wow测试服务器

我用来测试的Wow服务器是从网上下载回来的TrinityCore环境,可以一键把MySQL,和WEB还有游戏的世界服务器都搭建起来,下面的配置只是针对测试环境的要求对配置进行了一些更改。

一键安装完之后系统就会自动启动了Apache的Php环境,通过IE访问http://localhost:8888 的话就可以看到游戏账号的注册页面了。   

2.2配置MySQL

为了测试多台服务器公用一套用户数据,需要将MySQL的账号允许多台机器访问,所以要执行一下下面的命令:

GRANT ALL PRIVILEGES ON *.* TO 'trinity'@'%' IDENTIFIED BY 'trinity' WITH GRANT OPTION;
FLUSH RIVILEGES;

2.3修改Wow的AuthServer和World Server配置

AuthServer.conf里面的配置
LoginDatabaseInfo = "127.0.0.1;3306;trinity;trinity;logon"

修改为:

LoginDatabaseInfo = "172.167.1.239;3306;trinity;trinity;logon"

worldserver.conf的配置修改为

LoginDatabaseInfo     = "172.167.1.239;3306;trinity;trinity;logon"
WorldDatabaseInfo     = "172.167.1.239;3306;trinity;trinity;world"
CharacterDatabaseInfo = "172.167.1.239;3306;trinity;trinity;chars"

2.4一台linux服务器连公网IP

     因为我们是通过这台linux里面的haproxy反向代理背后的两台Windows服务器的,所以只需要一个公网IP就好了。

image

linux服务器的配置信息:


状态:运行中   存储:(无)

包天: 10.00元/天

私有IP:172.167.1.237

公网IP:电信独享2M 113.108.230.97

2.5haproxy的配置

用putty链接到Cent OS的服务器:

cd /tmp

wget http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.22.tar.gz

tar zxvf haproxy-1.4.22.tar.gz

cd haproxy-1.4.22.tar.gz

make install

cd examples

mkdir /etc/haproxy

cp haproxy.cfg /etc/haproxy/

cd /ect/haproxy

vim haproxy.cfg

然后根据需要把配置分别改为下面这些部分

http的配置

listen  appli1-rewrite 0.0.0.0:80
        option httplog
        cookie  SERVERID rewrite
        balance roundrobin
        server  app1_1 172.167.1.238:8888 cookie app1inst1 check inter 2000 rise 2 fall 5

        server  app1_1 172.167.1.239:8888 cookie app1inst1 check inter 2000 rise 2 fall 5

TCP的配置方法,TCP因为涉及到验证端口和游戏端口所以有两部分配置

验证端口配置

listen wowauth 0.0.0.0:3724
        mode tcp
        option tcplog
        tcp-request inspect-delay 5s
        server appwow 172.167.1.238:3724

        server appwow2 172.167.1.239:3724

游戏端口配置

listen  Wow 0.0.0.0:8085
        mode tcp
        option tcplog
        tcp-request inspect-delay 5s
        option tcpka
        server appwow 172.167.1.238:8085

        server appwow2 172.167.1.239:8085

2.6启动haproxy

haproxy –f haproxy.cfg –p hap.pid

注意:-p参数,因为只有这样你下次更新配置是才能通过haproxy –f haproxy.cfg –p hap.pid –sf $(cathap.pid)命令行实现,否者你要手动Kill

3.验证

验证WEB

访问http://113.108.230.97 这个地址我们可以看到了游戏账号的注册界面,在windows服务器上配置的是8888端口,通过haproxy后我们通过80端口就可以访问了,反向代理成功

image

验证游戏服务器

启动Wow.exe,输入刚才注册的账号密码,登陆成功。

image

让另外一个同事也登陆该服务器,结果也登陆成功了,不过可惜的是因为TrinityCore是不支持Scale Out的,haproxy把我的同事的游戏账号分配到另外一个WoW世界服务器去了,虽然他能够加我的账号为好友,但是我们同时在世界里喊话是无法收到的。可见haproxy是可以帮你把TCP请求均衡到了不同的服务器上的。

4.测试结果

haproxy能够轻松通过配置完成WEB和TCP的反向代理完成负载均衡的任务。可惜的是Wow服务器不支持服务器间的数据同步(可能由于游戏本身的对数据的实时性要求比较高吧),否则我们可以通过云主机的横向扩展创建个万人在线服务器玩玩了。

5.技巧

由于你没有为后端的两台Windows服务器购买外网IP,所以没法通过RDP链接到这服务器上,你是没法安装Wow服务器的你可以

  1. 购买个按需的IP绑定到服务器上面,用完之后释放,这样的话你能够在一小时内搞定,你只需要花1块钱。
  2. 利用Haproxy,做远程桌面端口的反向代理,这样你就可以通过一个IP链接两台windows服务器了

Windows的远程桌面RDP配置

listen  RemoteDesktop 0.0.0.0:3389
        mode tcp
        option tcplog
        tcp-request inspect-delay 5s
        tcp-request content accept if RDP_COOKIE
        persist rdp-cookie
        balance rdp-cookie
        option tcpka
        server appRD 172.167.1.238:3389

 

listen  RemoteDesktop 0.0.0.0:5000
        mode tcp
        option tcplog
        tcp-request inspect-delay 5s
        tcp-request content accept if RDP_COOKIE
        persist rdp-cookie
        balance rdp-cookie
        option tcpka
        server appRD 172.167.1.239:3389

posted on 2012-11-06 10:51  firewing  阅读(13638)  评论(11编辑  收藏  举报