第15章: Prometheus监控Kubernetes资源与应用

 

 

 

 

 

 

Prometheus监控Kubernetes资源与应用

 

 

 

 

 

 

目录

1 监控方案 2

2 监控指标 4

3 实现思路 4

4 在K8S中部署Prometheus 4

5 在K8S中部署Grafana与可视化 4

6 监控K8S集群Node与Pod 4

7 监控K8S资源对象 5

8 在K8S中部署Alertmanager 6

9 Prometheus告警 6

10 实验 7

 

 

 

 

 

 

 

 

 

 

 

1 监控方案

老的监控系统无法感知这些动态创建的服务，已经不适合容器化的场景

 

cAdvisor+Heapster+InfluxDB+Grafana	Y	简单	容器监控
cAdvisor/exporter+Prometheus+Grafana	Y	扩展性好	容器，应用，主机全方面监控

 

对于非容器化业务来说，像Zabbix，open-falcon已经在企业深入使用。

而Prometheus新型的监控系统的兴起来源容器领域，所以重点是放在怎么监控容器。

随着容器化大势所趋，如果传统技术不随着改变，将会被淘汰，基础架构也会发生新的技术栈组合。

 

cAdvisor+InfluxDB+Grafana

 

 

cAdvisor:是谷歌开源的一个容器监控工具，采集主机上容器相关的性能指标数据。比如CPU、内存、网络、文件系统等。

Heapster是谷歌开源的集群监控数据收集工具，会收集所有节点监控数据，Heapster作为一个pod在集群中运行，通过API获得集群中的所有节点，然后从节点kubelet暴露的10255汇总数据。目前社区用Metrics Server 取代 Heapster。

InfluxDB：时序数据库，存储监控数据。

Grafana：可视化展示。Grafana提供一个易于配置的仪表盘UI，可以轻松定制和扩展。

不足

l 功能单一，无法做到对K8S资源对象监控

l 告警单一，利用Grafana基本告警

l 依赖Influxdb，而Influxdb单点（高可用商业才支持），缺少开源精神

l heapster在1.8+弃用，metrics-server取代

cAdvisor/exporter+Prometheus+Grafana

Prometheus+Grafana是监控告警解决方案里的后起之秀

通过各种exporter采集不同维度的监控指标，并通过Prometheus支持的数据格式暴露出来，Prometheus定期pull数据并用Grafana展示，异常情况使用AlertManager告警。

 

 

# Kubernetes的API SERVER会暴露API服务，Promethues集成了对Kubernetes的自动发现，它有# 5种模式：Node、Service、Pod、Endpoints、ingress。

 

n 通过cadvisor采集容器、Pod相关的性能指标数据，并通过暴露的/metrics接口用prometheus抓取

n 通过prometheus-node-exporter采集主机的性能指标数据，并通过暴露的/metrics接口用prometheus抓取

n 应用侧自己采集容器中进程主动暴露的指标数据（暴露指标的功能由应用自己实现，并添加平台侧约定的annotation，平台侧负责根据annotation实现通过Prometheus的抓取）

n 通过kube-state-metrics采集k8s资源对象的状态指标数据，并通过暴露的/metrics接口用prometheus抓取

n 通过etcd、kubelet、kube-apiserver、kube-controller-manager、kube-scheduler自身暴露的/metrics获取节点上与k8s集群相关的一些特征指标数据。

 

2 监控指标

Kubernetes本身监控

• Node资源利用率

• Node数量

• Pods数量（Node）

• 资源对象状态

Pod监控

• Pod数量（项目）

• 容器资源利用率

• 应用程序

3 实现思路

监控指标	具体实现	举例
Pod性能(k8s集群资源监控)	cAdvisor	容器CPU，内存利用率 prometheus->apiserver(masterip:6443)->kubelet(cadvisor)
Node性能(k8s工作节点监控)	node-exporter	节点CPU，内存利用率
K8S资源对象(k8s资源对象状态监控)	kube-state-metrics	Pod/Deployment/Service

4 在K8S中部署Prometheus

https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/prometheus

源码目录：kubernetes/cluster/addons/prometheus

5 在K8S中部署Grafana与可视化

grafana 是一个可视化面板，有着非常漂亮的图表和布局展示，功能齐全的度量仪表盘和图形编辑器，支持 Graphite、zabbix、InfluxDB、Prometheus、OpenTSDB、Elasticsearch 等作为数据源，比 Prometheus 自带的图表展示功能强大太多，更加灵活，有丰富的插件，功能更加强大。

 

https://grafana.com/grafana/download

推荐模板：

• 集群资源监控：3119

• 资源状态监控 ：6417

• Node监控 ：9276

6 监控K8S集群Node与Pod

(1) Node

Prometheus社区提供的NodeExporter项目可以对主机的关键度量指标进行监控，通过Kubernetes的DeamonSet可以在各个主机节点上部署有且仅有一个NodeExporter实例，实现对主机性能指标数据的监控，但由于容器隔离原因，使用容器NodeExporter并不能正确获取到宿主机磁盘信息，故将NodeExporter部署到宿主机。

 

使用文档：https://prometheus.io/docs/guides/node-exporter/

GitHub：  https://github.com/prometheus/node_exporter

exporter列表：https://prometheus.io/docs/instrumenting/exporters/

 

node-exporter所采集的指标主要有:

node_cpu_*

node_disk_*

node_entropy_*

node_filefd_*

node_filesystem_*

node_forks_*

node_intr_total_*

node_ipvs_*

node_load_*

node_memory_*

node_netstat_*

node_network_*

node_nf_conntrack_*

node_scrape_*

node_sockstat_*

node_time_seconds_*

node_timex _*

node_xfs_*

 

(2) pod

目前cAdvisor集成到了kubelet组件内，可以在kubernetes集群中每个启动了kubelet的节点使用cAdvisor提供的metrics接口获取该节点所有容器相关的性能指标数据。

暴露API接口地址：https://NodeIP:10250/metrics/cadvisor

7 监控K8S资源对象

https://github.com/kubernetes/kube-state-metrics

 

kube-state-metrics是一个简单的服务，它监听Kubernetes API服务器并生成有关对象状态的指标。它不关注单个Kubernetes组件的运行状况，而是关注内部各种对象的运行状况，例如部署，节点和容器。

 

kube-state-metrics采集了k8s中各种资源对象的状态信息：

kube_daemonset_*

kube_deployment_*

kube_job_*

kube_namespace_*

kube_node_*

kube_persistentvolumeclaim_*

kube_pod_container_*

kube_pod_*

kube_replicaset_*

kube_service_*

kube_statefulset_*

8 在K8S中部署Alertmanager

 

设置告警和通知的主要步骤如下：

1. 部署Alertmanager

2. 配置Prometheus与Alertmanager通信

3. 配置告警

1. prometheus指定rules目录

2. configmap存储告警规则

3. configmap挂载到容器rules目录

4. 增加alertmanager告警配置

9 Prometheus告警

(1) Prometheus告警状态

Inactive： 这里什么都没有发生。

Pending：  已触发阈值，但未满足告警持续时间

Firing：   已触发阈值且满足告警持续时间。警报发送给接受者。

 

 

 

 

 

(2) 告警收敛

分组（group）： 将类似性质的警报分类为单个通知

抑制（Inhibition）： 当警报发出后，停止重复发送由此警报引发的其他警报

静默（Silences）： 是一种简单的特定时间静音提醒的机制

 

(3) Prometheus发告警流程

 

 

默认大约4分钟能收到报警(prometheus收集间隔1m,prometheus评估1m,报警等待1m,报警分组1m)，重复发送大约2分钟(报警分组1m,重复报警间隔1m)。

10 实验

主机名	ip	用途	备注
k8s_nfs	172.16.1.60	nfs存储	存储目录/ifs/kubernetes/
k8s-admin	172.16.1.70	k8s主节点
k8s-node1	172.16.1.71	k8s从节点1
k8s-node2	172.16.1.72	k8s从节点2

# 创建名称为ops的命名空间

[root@k8s-admin prometheus]# kubectl create namespace ops

namespace/ops created

 

(1) 安装managed-nfs-storage

这里省略安装步骤，可以参考之前的文章完成安装。

[root@k8s-admin nfs-client]# kubectl get deploy,svc,pod,sc -o wide

 

 

(2) 部署prometheus

1) yaml文件说明

[root@k8s-admin prometheus]# ls -l prometheus-*

-rw-r--r-- 1 root root 4965 Jul 24  2020 prometheus-configmap.yaml

# prometheus的主配置文件，采用ConfigMap方式挂载卷，通过kubernetes_sd_configs配置连接

# api-server自动发现被监控项。配置了连接alertmanager的参数。

[root@k8s-admin prometheus]# cat prometheus-configmap.yaml | grep job_name

    - job_name: prometheus

    - job_name: kubernetes-apiservers

    - job_name: kubernetes-nodes-kubelet

    - job_name: kubernetes-nodes-cadvisor

    - job_name: kubernetes-service-endpoints

    - job_name: kubernetes-services

    - job_name: kubernetes-pods

 

-rw-r--r-- 1 root root 1064 Jul 24  2020 prometheus-rbac.yaml

# prometheus的权限，ServiceAccount方式，名称prometheus

-rw-r--r-- 1 root root 4840 Jul 24  2020 prometheus-rules.yaml

# prometheus的告警规则，采用ConfigMap方式挂载卷

-rw-r--r-- 1 root root  384 Jul 24  2020 prometheus-service.yaml

# prometheus的SVC，NodePort方式暴露30090端口

-rw-r--r-- 1 root root 3253 Jul 24  2020 prometheus-statefulset.yaml

# 部署prometheus的配置文件，采用statefulset方式部署prometheus。

# 配置serviceAccountName: prometheus为rbac配置用于连接api-server。

# 将/data目录挂载到nfs动态pvc卷prometheus-data

 

2) 应用yaml文件

[root@k8s-admin prometheus]# ls prometheus-* | xargs -i kubectl apply -f {}

configmap/prometheus-config created

serviceaccount/prometheus created

clusterrole.rbac.authorization.k8s.io/prometheus created

clusterrolebinding.rbac.authorization.k8s.io/prometheus created

configmap/prometheus-rules created

service/prometheus created

statefulset.apps/prometheus created

 

3) 查看部署信息

[root@k8s-admin prometheus]# kubectl get statefulset,pod,svc,configmap,ServiceAccount,pvc,pv -n ops -o wide

 

 

补充：如何获取serviceaccount

# 获取serviceaccount在secrets中的名称

[root@k8s-admin prometheus]# kubectl get serviceaccount prometheus -n ops -o yaml

……

secrets:

- name: prometheus-token-zljjr

# 根据secrets的名称获取token

[root@k8s-admin prometheus]# kubectl describe secret prometheus-token-zljjr -n ops > /root/token.k8s

# 只保留token.k8s文件最下面的token字符串，其余的全部删除掉。

 

4) 访问prometheus

http://172.16.1.71:30090/targets

 

 

 

[root@k8s-admin prometheus]# kubectl get svc -n kube-system

 

[root@k8s-admin prometheus]# kubectl get ep/kube-dns -n kube-system

 

[root@k8s-admin prometheus]# kubectl get svc -n kube-system -o yaml | head -10

 

 

(3) node节点利用率监控

在node节点上部署exporter导出器

1) 配置文件说明

[root@k8s-admin prometheus]# ls -l node-exporter-*

-rw-r--r-- 1 root root 1633 Jul 25  2020 node-exporter-ds.yml

# node导出器部署文件，采用DaemonSet方式部署，临时文件存储采用hostPath方式

-rw-r--r-- 1 root root  417 Jul 24  2020 node-exporter-service.yaml

# node导出器svc配置文件，clusterIP为None，暴露内部端口为9100

# 注解annotations下的prometheus.io/scrape: "true"参数表示service node-exporter可以被prometheus抓取到

 

2) 应用yaml文件

[root@k8s-admin prometheus]# ls node-exporter-* | xargs -i kubectl apply -f {}

daemonset.apps/node-exporter created

service/node-exporter created

 

3) 查看部署信息

[root@k8s-admin prometheus]# kubectl get daemonset,pod,svc,ep -o wide -n ops

 

 

4) 访问prometheus

http://172.16.1.71:30090/targets

 

# kubernetes-service-endpoints中增加了如下内容

 

 

(4) k8s资源信息监控

1) 配置文件说明

[root@k8s-admin prometheus]# ls -l kube-state-metrics-*

-rw-r--r-- 1 root root 2362 Jul 24  2020 kube-state-metrics-deployment.yaml

#  kube-state-metrics 部署文件，Deployment方式，

#  连接api-serverservice的授权配置为AccountName: kube-state-metrics

-rw-r--r-- 1 root root 2536 Jul 24  2020 kube-state-metrics-rbac.yaml

#  授权文件，ServiceAccount方式，名称kube-state-metrics

-rw-r--r-- 1 root root  498 Jul 24  2020 kube-state-metrics-service.yaml

#  kube-state-metrics svc配置文件，内部暴露端口为8080、8081

#  注解annotations下的prometheus.io/scrape: "true"参数表示service node-exporter可以被prometheus抓取到

 

2) 应用yaml文件

[root@k8s-admin prometheus]# ls kube-state-metrics-* | xargs -i kubectl apply -f {}

deployment.apps/kube-state-metrics created

configmap/kube-state-metrics-config created

serviceaccount/kube-state-metrics created

clusterrole.rbac.authorization.k8s.io/kube-state-metrics created

role.rbac.authorization.k8s.io/kube-state-metrics-resizer created

clusterrolebinding.rbac.authorization.k8s.io/kube-state-metrics created

rolebinding.rbac.authorization.k8s.io/kube-state-metrics created

service/kube-state-metrics created

 

3) 查看部署信息

[root@k8s-admin prometheus]# kubectl get deployment,pod,svc,ep -o wide -n ops

 

 

4) 访问prometheus

http://172.16.1.71:30090/targets

 

 

 

 

(5) 安装grafana

1) 配置文件说明

[root@k8s-admin prometheus]# ls -l grafana.yaml

-rw-r--r-- 1 root root 1266 Jul 24  2020 grafana.yaml

#  该配置文件包含Deployment和service配置。

#  grafana版本为grafana:7.1.0，/var/lib/grafana挂载到nfs动态pvc卷grafana上

#  service类型为NodePort，暴露外部端口为30030

 

2) 应用yaml文件

[root@k8s-admin prometheus]# kubectl apply -f grafana.yaml

deployment.apps/grafana created

persistentvolumeclaim/grafana created

service/grafana created

 

3) 查看部署信息

[root@k8s-admin prometheus]# kubectl get deployment,pod,svc,pvc,pv,ep -n ops -o wide

 

# 查看存储

 

 

4) 登录grafana

http://172.16.1.71:30030/

 

 

 

 

(6) 在grafana中导入dashboard

1) 配置grafana连接prometheus

# 获取svc值

[root@k8s-admin ~]# kubectl get svc -n ops

prometheus           NodePort    10.96.111.132   <none>        9090:30090/TCP      47h

 

Address 1: 10.96.111.132 prometheus.ops.svc.cluster.local

 

# 连接prometheus

 

 

 

2) 导入"K8S工作节点监控"(node性能)

 

 

 

 

3) 导入K8S集群资源监控(pod性能)

 

 

 

4) 导入"K8S资源对象状态监控"(kube-state-metrics)

 

 

 

(7) 告警

1) 配置文件说明

[root@k8s-admin prometheus]# ls -l alertmanager-*

-rw-r--r-- 1 root root  652 Jul 24  2020 alertmanager-configmap.yaml

# alertmanager报警邮箱配置文件，根据需要修改，采用ConfigMap方式挂载

-rw-r--r-- 1 root root 2175 Jul 24  2020 alertmanager-deployment.yaml

# altermanager部署配置，deployment方式部署，nfs动态卷pvc alertmanager挂载到/data

-rw-r--r-- 1 root root  323 Jul 24  2020 alertmanager-pvc.yaml

# nfs动态卷pvc alertmanager配置文件

-rw-r--r-- 1 root root  384 Jul 24  2020 alertmanager-service.yaml

# alertmanager svc配置文件，NodePort方式暴露30093端口

 

2) 应用yaml文件

[root@k8s-admin prometheus]# ls alertmanager-* | xargs -i kubectl apply -f {}

configmap/alertmanager-config created

deployment.apps/alertmanager created

persistentvolumeclaim/alertmanager created

service/alertmanager created

 

3) 查看部署信息

[root@k8s-admin prometheus]# kubectl get deployment,pod,svc,pvc,pv -o wide

 

 

4) 访问alertmanager

http://172.16.1.71:30093/#/alerts

 

 

5) 查看报警规则

 

 

6) 查看报警邮件

 

 

(8) 修改Prometheus和Alertmanager配置文件后重启方法

以上的配置中Prometheus和Alertmanager分别在各自的pod中又启动了一个镜像为

jimmidyson/configmap-reload:v0.1的容器，用于监控配置文件的更改，然后重启pod

中的Prometheus和Alertmanager容器，但有时不太起作用，这时需要采用手动的方

法重启pod中的Prometheus和Alertmanager。

 

[root@k8s-admin prometheus]# kubectl get pod -n ops -o wide | egrep "prometheus|alertmanager"

Prometheus: curl -XPOST http://10.244.1.13:9090/-/reload

Alertmanager: curl -XPOST http://10.244.1.17:9093/-/reload