对于服务响应慢的问题排查和分析(1)
简单描述一下问题现象，主要是两个：1. 手机客户端偶尔有时候会出现卡顿现象，比如显示一直在加载，或者显示超时、连接不上服务器。但重新刷新又会问题消失。 2. 最近一段时间早上网站在10点前后一段时间在办公室访问特别慢，半天刷不出来。app有时候也卡。但同一时间，在服务器上直接wget 网站，速度飞快。
当前的服务架构：api server在一台机器上， 网站服务器web server在另一台机器上， 手机app直接请求api server，web server的大量功能会通过内网ip请求api server。master db和slave db分别在另外两台机器，和api server、web server之间的通信也是走内网ip。
问题排查过程如下：
1. 首先看服务器本身负载问题，包括机器网络环境，有一些是监控宝数据，一些是zabbix监控数据。
| web server | api server | master db | slave db | |
| cpu负载 |
早上10点左右为一天的最高峰，通常在4-7之间。 下午开盘后一般在2-4之间。其他时间在2以下 |
早上10点左右为一天最高峰，在2-2.5之间 | 5以内 | 5以内 |
| 网络流量 |
流入较多，高峰期在下午1点-3点，6M左右，流入只有4M左右。 10点的流入是4M左右，流出是2M左右(监控宝数据) |
主要为流出，早上10点前后到达高峰，一般在25M左右(监控宝数据，zabbix数据超过30M) | zabbix数据: 流入不超过1.5M，各时段比较平均。流出在2.5M-4M之间，10点前后也不是一天的最高峰。 | zabbix 数据：流入的峰值在10-14M(这台机器上有抓取)，但一天内出现较多，10点左右的流量不比其他时段多。流出的峰值不到1M，并且各时段都差不多。 |
| ping响应时间 | 可用率100%，平均响应30ms以内 | 可用率100%，平均响应30ms以内 | 无监控 | 无监控 |
| 端口连接数(netstat -nap统计) | 早上10点左右为1w多，端口资源总数是2w多。 | 早上10点左右为5w多，端口资源总数在6w多 | 1w以内 | 1w以内 |
| 服务连接数 | httpd进程在500以内(高峰期的active threads不超过300,Idle Threads为100出头)，上限是2000 | httpd进程在800以内(高峰期的active threads是450,Idle Threads为400出头)，上限是1024 | 上限800，高峰期连接数最大不超过300 | 上限800，高峰期连接数最大不超过150 |
2. 其次看一下监控宝上对http接口的监控数据，一共监控了3个接口
- 网站首页：web server上
- 大盘行情接口：api server上
- 公司主页：web server上
- 推送服务接口：api server上
3. 查api server和web server上的/var/log/messagess，没有发现错误信息
综上，从上面数据看起来，更像是api和web服务内部性能的问题，而不是系统资源问题。因为在同一台服务器上的公司主页响应速度不慢。而且apache进程数和mysql的进程数都未到上限，我们在日志里也没有发现之前遇到过的mysql连接失败问题。推送服务接口响应慢是一个比较奇怪的现象。因为推送服务的逻辑相对简单。
问题原因仍然待查
