Prometheus指标优化

背景
1、目前生产环境的prometheus偶发内存不足OOM现象【宿主机24G内存】

2、pushgateway拉取会出现超时情况

3、上述情况已经影响到监控告警系统的稳定性，需要及时介入治理。

 

优化措施
1、调整pushgateway

①、调大prometheus去拉取pushgateway的时间间隔和拉取超时时间

# 这里只贴了核心的配置，全量配置放在gitlab上，具体参考附录部分
- job_name: pushgateway-bj2
scrape_interval: 30s
scrape_timeout: 30s

②、业务侧拆分（后期量级实在太大再考虑这种方案）
再启动一个额外的pushgateway，但是需要告知部分业务方，打点数据发到新的pushgateway上。也就是按照业务维度拆分pushgateway。

2、通过drop action 删除部分非核心指标

# 这里只贴了部分的配置，最新的配置放在gitlab上，具体参考附录部分
- job_name: pushgateway-devops
.....
metric_relabel_configs:
- source_labels: [__name__]
separator: ','
regex: '(process_cpu_seconds_total|process_open_fds|process_max_fds)'
action: drop

- job_name: kubernetes-cadvisor
.....
metric_relabel_configs:
- source_labels: [__name__]
regex: container_(network_tcp_usage_total|network_udp_usage_total|tasks_state|cpu_load_average_10s)
action: drop

3、优化高基数指标

有了上面的数据后，我们就可以再次使用 drop action 清理掉某些非核心metrics了。

 

prometheus 表达式写法：

top10的metrics数量，按metrcis名称区分：

topk(10,count by (__name__) ({__name__=~'.+'}))

 

top10的job数量，按job名称区分：

topk(10,count by (__name__,job) ({__name__=~'.+'}))