【Atlas】记录一次平台访问Post数据到阿里云概率性 失败的问题排查

背景

2周前，对阿里云上的web 服务增加了HTTPS的支持，原因是Google 对于安全的验证需求 导致 请求经常挂掉，页面无数据或者整个页面被 白屏的问题；

然后做好变更后，开发人员就离职，然后就当天离奇的发现 Post 数据无法支持 高并发了。 之前的并发设置为 500 都没事，现在是50就一定挂掉。

最开始怀疑，https 改动因为加了证书的缘故，代码需要同步改动，但是事实上测试后，并不能解决问题。让小朋友排查2周无线索，使用方找来投诉。。。

无奈，自己上手查，review了下代码，逻辑也比较简单，就是简单的并发post请求，无证书；代码不方便透露，但是也不重要；

 

排查过程

1，开始怀疑https 证书问题或者restful 接口变更

由于开始怀疑证书的问题，代码测试后发现无法解决问题，被排除；然后怀疑是不是restful 接口最近有什么变化，但是开发否认有相关变更；这个也得到确认，最近我们没有相关内容发版；

然后，写了简单的案例，10000并发，2条数据发送,  正常收到；这里注意：2条数据量非常小；

回到必现场景：并发50，单条数据非常非常大；

也就是说，并发不是问题，数据量才是问题；

 

2， 怀疑数据量过大，资源瓶颈问题

这时候开始怀疑是 阿里云资源瓶颈导致了。于是去查服务监控；并联系阿里云技术支持，一起查看监控数据；

最开始的时候，有部分监控丢失，阿里云支持说需要装监控，ok：https://cloudmonitor.console.aliyun.com/hostMonitoring/all

 

 

 查看监控数据：

 

 

 实际上，大部分资源都不到瓶颈，公网（内网）带宽有些许峰值；达到限额 100M/s

 

3，怀疑网络问题

这里开始怀疑网络问题导致的服务不可用； 查看ecs 自检测，提示丢包问题；更加确定了方向；

然后找客服确认，说不会超过上限，我截图后他们也一起排查，确认是公网流量上限导致数据丢包问题；

问题来了： 为什么我走内网的vpc ，会分配到公网流量；

这时候阿里云客服提到：如果内网 & 公网都开的情况下，访问指定公网IP的话， 就会走公网；

顿时茅塞顿开呀~   那我们走的域名 post， 解析过程自然是 公司DNS 解析的； 我ping了下服务，确实反馈是公网IP；

到现在，思路很清楚了！！

 

4， 解决办法

改Hosts 验证是内网IP 就可以并发上去（原本必现的错误 Test 可以正常运行，不再失败） ；验证确实可以解决问题；

然后解决办法有2个：

• 在所有post 数据的机器上，进行hosts 更改；
• 让公司运维修改DNS 配置，实现内网post 直接指定内网ip；这样既省钱，又服务更可靠了；