QQGame防专线中断系统介绍
先说说背景
-
QQGame是一个全区全服的休闲类游戏平台和社区,主逻辑服务器部署在四大IDC,核心DB全部在深圳。对跨IDC的专线依赖度很高。
-
网平提供专线故障后切VPN的备份机制,当VPN也中断时QQGame在线会下降到0.
-
窄带IDC、孤岛IDC无法提供游戏服务。
再说说分析
专线断了进行容灾,无非是数据走外网。外网能抗住么?其实木有人能告诉你。
1.公网包量、流量测试
24小时包量测试:
压力:大约每分钟310w包,每个包为139Byte
结果:在24小时之内一共传输2202271493个包,
成功2202247061个包,失败24432个包。
失败率:0.0011%,
24小时之内失败一共只有5次,为网络抖动。
12小时流量测试:
压力:大约每分钟40w包,每个包大小为4k-10k
结果:深圳IDC入流量:100Mb/s,出流量: 150Mb/s,
收包数等于发包数,无丢包
2.网速测试
非高峰期(6月25日09点)测试结果如下表:
高峰期(6月26日21:30)测试结果如下表:
测试数据表明,
专线在闲时和忙时都很稳定。
外网在忙时ping值会有升高,跨运营商(红色)的ping值可高达200ms. 不夸运营商的情况ping值低于100ms. QQGame跨专线的流量用于玩家登录服务器时获取DB数据,游戏交互过程不受此延时影响,因此对于QQ游戏来说完全可以接受。
外网状况从包量、流量、网速三个方面都可以支撑QQGame跨地域服务器通信需求。
最后说说设计
正常状态下:MainSvr-àProxy---(专线)-àGameDB
专线中断了:MainSvr-àProxy--àOfProxy----(外网)-àObProoxy-àGameDB
惨绝人寰的事情发生了。。。。
专线中断并且外网中断,IDC处于孤岛状态。。
孤岛模式: MainSvr--àProxy--àOfProxy--àNewLCDSvr
偏远地区时可以使用的节省带宽模式:
MainSvr-àProxy--àNewLCDSvr(合并流水后发包给DB)---àOfproxy----(外网)-àObProxy--àGameDB
全貌图:
看看效果吧
QQGame在具备防专线中断容灾能力前,一旦出现专线中断故障,QQGame区域IDC的在线人数会迅速下降。。。趋近于0在线。。。。恐怖。。
7月19日的专线中断演习,系统进行内外网切换的决策的几十秒内有在线的轻微影响。切换完成后,在线完全无影响。
写在最后
QQGame的防专线中断系统的设计思路首先将其作为一个旁路系统,在standby状态时,尽量减少对系统核心架构的影响,没有带来任何额外的专线流量。(NewLCDSvr Cache填充是由正常的专线数据在IDC内ByPass完成。)
其次,作为容灾系统需要有自动化运营能力。否则,真正专线故障时,手动切换带来的时间损耗会大大降低系统的效能。
最后,QQGame这种多地域、多IDC部署的全区全服系统有其自身的特殊需求,在具备了足够大的用群体后才有防专线中断容灾的现实需求。在做系统设计的时候需要因地制宜为了产品、用户而去考虑系统设计,绝对不能为了容灾而容灾、为了设计而设计。共勉。
相关推荐
浅谈全区全服架构的SNS游戏后台
专线接入常见问题
如何有效避免IDC故障,腾讯云专家谈IDC联合运营经验
专线接入更多相关知识
此文已由作者授权腾讯云技术社区发布,转载请注明文章出处,获取更多云计算技术干货,可请前往腾讯云技术社区
欢迎大家关注腾讯云技术社区-博客园官方主页,我们将持续在博客园为大家推荐技术精品文章哦~