监控最佳实践--redis及业务接口

简介：监控最佳实践--redis及业务接口

1. 背景

1.1 问题

2020-12-04，客户侧redis集群版监控DB0 CPU突增至100%，导致数据库无法正常服务，经排查客户侧业务上存在2M左右的大key导致DB0阻塞。并且客户侧使用的集群连接方式为默认proxy模式，如下图所示，DB0阻塞导致其他节点也无法正常服务；处理办法：客户侧配合切断大key业务的高频繁次调用，请求恢复。

图1：proxy模式

1.2 思考

此次问题导致客户侧课程报名入口严重受损，进而引发深度思考。在使用redis等产品方面的监控报警手段不够完善，不够仔细，并且后续再查看业务日志发现错误率已经逐渐增多，直至redis层面表现出来才get到问题所在。针对此次redis的大key问题，给客户提供了关于大key以及热点key的分析办法，并建议完善客户侧监控报警的可读性以及业务日志接口的错误告警。

2. 数据库监控分析

2.1 redis监控指标分享

redis集群版云监控指标如下表所示。

监控项	单位	MetricName	Dimensions	Statistics
平均响应时间	us	ShardingAvgRt	userId、instanceId、nodeId	Average、Maximum
连接数使用率	%	ShardingConnectionUsage	userId、instanceId、nodeId	Average、Maximum
CPU使用率	%	ShardingCpuUsage	userId、instanceId、nodeId	Average、Maximum
命中率	%	ShardingHitRate	userId、instanceId、nodeId	Average、Maximum
入方向流量	KByte/s	ShardingIntranetIn	userId、instanceId、nodeId	Average、Maximum
流入带宽使用率	%	ShardingIntranetInRatio	userId、instanceId、nodeId	Average、Maximum
出方向流量	KByte/s	ShardingIntranetOut	userId、instanceId、nodeId	Average、Maximum
流出带宽使用率	%	ShardingIntranetOutRatio	userId、instanceId、nodeId	Average、Maximum
缓存内Key数量	个	ShardingKeys	userId、instanceId、nodeId	Average、Maximum
最大响应时间	us	ShardingMaxRt	userId、instanceId、nodeId	Average、Maximum
内存使用率	%	ShardingMemoryUsage	userId、instanceId、nodeId	Average、Maximum
QPS使用率	%	ShardingQPSUsage	userId、instanceId、nodeId	Average、Maximum
已用连接数	个	ShardingUsedConnection	userId、instanceId、nodeId	Average、Maximum
内存使用量	Bytes	ShardingUsedMemory	userId、instanceId、nodeId	Average、Maximum、Sum
平均每秒访问次数	个	ShardingUsedQPS	userId、instanceId、nodeId	Average、Maximum