关于XXX选课压测中alteon带宽问题造成并发数低问题排查
某个学校选课系统在前期压测的时候发现压测一直不通过,实际要求在一万五到两万的并发数量,实际压测时候压测并发在500之后造成大量的连接失败和超时的现象,并发越大失败的越多。
应用人员检查选课服务器运行状态发现CPU和内存均在较低的范围,完全不到瓶颈,后端应用程序也未发现明显故障,在排查一段时间后发现还是无法解决该问题,后网络接入一起排查。
然后联合应用侧人员对这个选课系统访问拓扑进行梳理,梳理出信息如下:
根据应用人员检查后端真实服务器运行无异常,后检查位于中间的nginx服务器运行状态也无异常,检查硬负载的设备CPU和内存运行瓶颈都在正常范围。
最后排查使用浏览器打开流程检查查看是否由于固定文件打不开造成的压力上不去或者其他原因,发现也无异常,最后在无压力情况下对网页整个流量跑一便的情况下发现异 常:
发现整个网页跑下来需要有1M的大小,换算成和接口带宽一个格式的话也就是8M左右, 然后我们重新进行压测对接口带宽进行观察:
接口带宽为千兆,除以8的情况下也就是125M的带宽,按照每个完整页面1M的带宽算的话,最多承载125个用户的并发,但是在实际使用过程中接口的带宽速率到80M的时候就已经出现卡顿,延迟和掉包的情况,将压测数量下降之后此问题解决。
最终由于这款alteon硬件负载只有千兆负载,无法满足高并发的情况,最后选择从DNS处入手,修改DNS指向直接指向后端nginx服务器问题解决。