随笔分类 - Prometheus
摘要：f q 简单介绍prometheus-operator 中的每个 Prometheus CRD 资源，Operator 都会以 StatefulSet 形式在相同的命名空间下部署对应配置的资源，Prometheus Pod 的配置是通过一个包含 Prometheus 配置的名为 的 Secret 对
阅读全文
摘要：方法一： 在rancher平台仪表盘里修改 修改告警规则的配置文件 修改阈值并保存 rules界面查看是否生效 方法二： cd /xi/operator/operator-0.7/manifests/prometheus vim custom-rules.yaml 修改阈值 更新prometheus
阅读全文
摘要：#登录master节点操作 1、进入prometheus介质目录： [root@k8s-master01]$ cd /yang/operator/operator-0.7/manifests/prometheus 2、备份prometheus配置文件 [root@k8s-master01]$cp p
阅读全文
摘要：CPU使用率： (1 - avg(rate(node_cpu_seconds_total{mode="idle"}[5m])) by (instance)) *100 说明： container_cpu_usage_seconds_total 该容器服务针对每个CPU累计消耗的CPU时间。如果有多个
阅读全文
摘要：内存使用率： 表达式1：sum (container_memory_working_set_bytes{container !="",container!="POD"}) by (container, pod) / sum(container_spec_memory_limit_bytes{cont
阅读全文
摘要：pod_memory_use表达式: sum (container_memory_working_set_bytes{container !="",container!="POD"}) by (container, pod) / sum(container_spec_memory_limit_byt
阅读全文
摘要：将Prometheus的数据远程写入第三方工具 注意书写格式：不要有下划线，下划线后面的字母要大写;例如：（错误书写）min_backoff: 100ms/（正确书写）minBackoff: 100ms） remoteWrite: - queueConfig: batchSendDeadline:
阅读全文
摘要：一、步骤及注意事项（前提，部署参考部署篇） 一般etcd集群会开启HTTPS认证，因此访问etcd需要对应的证书 使用证书创建etcd的secret 将etcd的secret挂在到prometheus 创建etcd的servicemonitor对象（匹配kube-system空间下具有k8s-app
阅读全文
摘要：在 Kubernetes 集群的 ETCD 默认是开启暴露 metrics 数据的，不过一般来说 ETCD 部署在集群外，并且其暴露的接口是基于 HTTPS 协议。为了统一管理，我们需要将 ETCD 服务代理到 Kubernetes 集群中，然后使用 Prometheus 的 Kubernetes
阅读全文
摘要：背景1、目前生产环境的prometheus偶发内存不足OOM现象【宿主机24G内存】 2、pushgateway拉取会出现超时情况 3、上述情况已经影响到监控告警系统的稳定性，需要及时介入治理。 优化措施1、调整pushgateway ①、调大prometheus去拉取pushgateway的时间间
阅读全文
摘要：**问题背景：**单个prometheus性能到达瓶颈问题、多个prometheus-server数据汇总问题等 **prometheus监控数据持久化** 首先大家都知道prometheus是自带数据存储功能的。优点是简单易用，基本无需配置缺点是：1、存在数据无法长久保存（尤其是频繁变更的监控对象
阅读全文
摘要：prometheus 综合优化1、使用recording rule来优化查询性能（尤其适合于供仪表盘查询的数据）recording rule允许预先计算经常需要或计算上昂贵的表达式，并将其结果保存为一组新的时间序列。 因此，查询预先计算的结果通常比每次需要时执行原始表达式快得多。 这对于仪表板尤其有
阅读全文
摘要：介绍 Prometheus是一个基于Metrics的监控系统 ，与Kubernetes同属CNCF（Cloud Native Computing Foundation），它已经成为炙手可热的Kubernetes生态圈中的核心监控系统，越来越多的项目（如Kubernetes和etcd等 ）都加入了丰富
阅读全文
摘要：我们这里说的安全主要是基本认证和https2种， 目前这2种安全在prometheus中都没有的， 需要借助第三方软件实现， 这里以nginx为例。 基本认证 一、配置基本认证 在前面的部署中，我们部署完毕prometheus server 后， 可以通过对应的http://192.168.100.
阅读全文
摘要：Email configuration 我们这里选择 email 告警，首先修改 grafana 的配置文件 /etc/grafana/grafana.ini，找到 SMTP 部分，修改为如下： [smtp] ;enabled = false enabled = true ;host = local
阅读全文
摘要：relabel_config 重新标记是一个功能强大的工具，可以在目标的标签集被抓取之前重写它，每个采集配置可以配置多个重写标签设置，并按照配置的顺序来应用于每个目标的标签集。 目标重新标签之后，以__开头的标签将从标签集中删除的。 如果使用只需要临时的存储临时标签值的，可以使用_tmp作为前缀标识
阅读全文
摘要：Prometheus 提供了其它大量的内置函数，可以对时序数据进行丰富的处理。某些函数有默认的参数，例如：year(v=vector(time()) instant-vector)。其中参数 v 是一个瞬时向量，如果不提供该参数，将使用默认值 vector(time())。instant-vecto
阅读全文
摘要：一、二进制包安装 我们可以到 Prometheus 二进制安装包下载页面，根据自己的操作系统选择下载对应的安装包。下面我们将以 Amazon Linux 2 作为演示。 我们以现在的时间为准，下载最新版本 v2.17.1。 1.1、下载 Prometheus Server wget https://
阅读全文
摘要：一、监控系统概论 监控系统在这里特指对数据中心的监控，主要针对数据中心内的硬件和软件进行监控和告警。企业的 IT 架构逐步从传统的物理服务器，迁移到以虚拟机为主导的 IaaS 云。无论基础架构如何调整，都离不开监控系统的支持。 不仅如此。越来越复杂的数据中心环境对监控系统提出了更越来越高的要求：需要
阅读全文
