kubernetes监控终极方案-kube-promethues
kube-promethues简介
前面我们学习了Heapster+cAdvisor方式监控，这是Prometheus Operator出现之前的k8s监控方案。后来出现了Prometheus Operator，但是目前Prometheus Operator已经不包含完整功能，完整的解决方案已经变为kube-prometheus。项目地址为：https://github.com/coreos/kube-prometheus
这个仓库包括：kubernetes清单、granfana dashboard以及promethues rules。同时还包括容易上手的安装脚本。
组件包括：
- The Prometheus Operator
- 高可用Prometheus
- 高可用Alertmanager
- Prometheus node-exporter
- Prometheus Adapter for Kubernetes Metrics APIs
- kube-state-metrics
- Grafana
kube-promethues架构
上图是Prometheus-Operator官方提供的架构图，其中Operator是最核心的部分，作为一个控制器，他会去创建Prometheus、ServiceMonitor、AlertManager以及PrometheusRule4个CRD资源对象，然后会一直监控并维持这4个资源对象的状态。
其中创建的prometheus这种资源对象就是作为Prometheus Server存在，而ServiceMonitor就是exporter的各种抽象，exporter前面我们已经学习了，是用来提供专门提供metrics数据接口的工具，Prometheus就是通过ServiceMonitor提供的metrics数据接口去 pull 数据的，当然alertmanager这种资源对象就是对应的AlertManager的抽象，而PrometheusRule是用来被Prometheus实例使用的报警规则文件。
这样我们要在集群中监控什么数据，就变成了直接去操作 Kubernetes 集群的资源对象了，是不是方便很多了。上图中的 Service 和 ServiceMonitor 都是 Kubernetes 的资源，一个 ServiceMonitor 可以通过 labelSelector 的方式去匹配一类 Service，Prometheus 也可以通过 labelSelector 去匹配多个ServiceMonitor。
kube-promethues部署
下载安装源码
git clone https://github.com/coreos/kube-prometheus.git
安装文件都在kube-prometheus/manifests/ 目录下。
官方把所有文件都放在一起,这里我复制了然后分类下
mkdir prometheus cp kube-prometheus/manifests/* prometheus/ cd prometheus/ mkdir -p operator node-exporter alertmanager grafana kube-state-metrics prometheus serviceMonitor adapter mv *-serviceMonitor* serviceMonitor/ mv 0prometheus-operator* operator/ mv grafana-* grafana/ mv kube-state-metrics-* kube-state-metrics/ mv alertmanager-* alertmanager/ mv node-exporter-* node-exporter/ mv prometheus-adapter* adapter/ mv prometheus-* prometheus/
注意：新版本的默认label变了，需要修改选择器为beta.kubernetes.io/os，不然安装的时候会卡住。
修改选择器
sed -ri '/linux/s#kubernetes.io#beta.&#' \
alertmanager/alertmanager-alertmanager.yaml \
prometheus/prometheus-prometheus.yaml \
node-exporter/node-exporter-daemonset.yaml \
kube-state-metrics/kube-state-metrics-deployment.yaml
镜像使用dockerhub上的
sed -ri '/quay.io/s#quay.io/prometheus#prom#' \ alertmanager/alertmanager-alertmanager.yaml \ prometheus/prometheus-prometheus.yaml \ node-exporter/node-exporter-daemonset.yaml
使用能拉取到的谷歌镜像
find -type f -exec sed -ri 's#k8s.gcr.io#gcr.azk8s.cn/google_containers#' {} \;
当前文件目录：
1、生成namespace
kubectl apply -f .
2、安装operater
kubectl apply -f operator/
3、依次安装其他组件
kubectl apply -f adapter/ kubectl apply -f alertmanager/ kubectl apply -f node-exporter/ kubectl apply -f kube-state-metrics/ kubectl apply -f grafana/ kubectl apply -f prometheus/ kubectl apply -f serviceMonitor/
4、查看整体状态
kubectl -n monitoring get all
[root@vm10-0-0-12 prometheus]# kubectl -n monitoring get all NAME READY STATUS RESTARTS AGE pod/alertmanager-main-0 2/2 Running 0 27h pod/alertmanager-main-1 2/2 Running 0 27h pod/alertmanager-main-2 2/2 Running 0 27h pod/grafana-7b86fd9ffd-sslwf 1/1 Running 0 27h pod/kube-state-metrics-688965c565-knjbz 4/4 Running 0 27h pod/node-exporter-4vtgl 2/2 Running 0 27h pod/node-exporter-5bnfw 2/2 Running 0 27h pod/node-exporter-9nnsp 2/2 Running 0 27h pod/node-exporter-fd8ng 2/2 Running 0 27h pod/node-exporter-nh5q9 2/2 Running 0 27h pod/node-exporter-z69fb 2/2 Running 0 27h pod/prometheus-adapter-66fc7797fd-qpt4d 1/1 Running 0 27h pod/prometheus-k8s-0 3/3 Running 1 27h pod/prometheus-k8s-1 3/3 Running 1 27h pod/prometheus-operator-78678c7494-6954s 1/1 Running 0 27h NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE service/alertmanager-main ClusterIP 10.254.160.2 <none> 9093/TCP 27h service/alertmanager-operated ClusterIP None <none> 9093/TCP,9094/TCP,9094/UDP 27h service/grafana LoadBalancer 10.254.2.98 120.92.212.201 3000:31423/TCP 27h service/kube-state-metrics ClusterIP None <none> 8443/TCP,9443/TCP 27h service/node-exporter ClusterIP None <none> 9100/TCP 27h service/prometheus-adapter ClusterIP 10.254.225.221 <none> 443/TCP 27h service/prometheus-k8s LoadBalancer 10.254.23.154 120.92.92.56 9090:32361/TCP 27h service/prometheus-operated ClusterIP None <none> 9090/TCP 27h service/prometheus-operator ClusterIP None <none> 8080/TCP 27h NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE NODE SELECTOR AGE daemonset.apps/node-exporter 6 6 6 6 6 beta.kubernetes.io/os=linux 27h NAME READY UP-TO-DATE AVAILABLE AGE deployment.apps/grafana 1/1 1 1 27h deployment.apps/kube-state-metrics 1/1 1 1 27h deployment.apps/prometheus-adapter 1/1 1 1 27h deployment.apps/prometheus-operator 1/1 1 1 27h NAME DESIRED CURRENT READY AGE replicaset.apps/grafana-7b86fd9ffd 1 1 1 27h replicaset.apps/kube-state-metrics-688965c565 1 1 1 27h replicaset.apps/kube-state-metrics-758f8b9855 0 0 0 27h replicaset.apps/prometheus-adapter-66fc7797fd 1 1 1 27h replicaset.apps/prometheus-operator-78678c7494 1 1 1 27h NAME READY AGE statefulset.apps/alertmanager-main 3/3 27h statefulset.apps/prometheus-k8s 2/2 27h
kube-promethues配置
1、kube-controller-manager 和 kube-scheduler组件配置
我们可以看到大部分的配置都是正常的，只有两三个没有管理到对应的监控目标，比如 kube-controller-manager 和 kube-scheduler 这两个系统组件，这就和 ServiceMonitor 的定义有关系了，我们先来查看下 kube-scheduler 组件对应的 ServiceMonitor 资源的定义：(prometheus-serviceMonitorKubeScheduler.yaml)
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
labels:
k8s-app: kube-scheduler
name: kube-scheduler
namespace: monitoring
spec:
endpoints:
- interval: 30s # 每30s获取一次信息
port: http-metrics # 对应service的端口名
jobLabel: k8s-app
namespaceSelector: # 表示去匹配某一命名空间中的service，如果想从所有的namespace中匹配用any: true
matchNames:
- kube-system
selector: # 匹配的 Service 的labels，如果使用mathLabels，则下面的所有标签都匹配时才会匹配该service，如果使用matchExpressions，则至少匹配一个标签的service都会被选择
matchLabels:
k8s-app: kube-scheduler
上面是一个典型的 ServiceMonitor 资源文件的声明方式，上面我们通过selector.matchLabels在 kube-system 这个命名空间下面匹配具有k8s-app=kube-scheduler这样的 Service，但是我们系统中根本就没有对应的 Service，所以我们需要手动创建一个 Service：（prometheus-kubeSchedulerService.yaml）
cat prometheus-kubeSchedulerService.yaml
apiVersion: v1
kind: Service
metadata:
namespace: kube-system
name: kube-scheduler
labels:
k8s-app: kube-scheduler
spec:
type: ClusterIP
clusterIP: None
ports:
- name: port
port: 10251
protocol: TCP
---
apiVersion: v1
kind: Endpoints
metadata:
labels:
k8s-app: kube-scheduler
name: kube-scheduler
namespace: kube-system
subsets:
- addresses:
- ip: 10.0.0.5
- ip: 10.0.0.15
- ip: 10.0.0.20
ports:
- name: http-metrics
port: 10251
protocol: TCP
同理prometheus-kubeControllerManagerService.yaml也需要修改一下：
apiVersion: v1
kind: Service
metadata:
namespace: kube-system
name: kube-controller-manager
labels:
k8s-app: kube-controller-manager
spec:
selector:
component: kube-controller-manager
type: ClusterIP
clusterIP: None
ports:
- name: http-metrics
port: 10252
targetPort: 10252
protocol: TCP
---
apiVersion: v1
kind: Endpoints
metadata:
labels:
k8s-app: kube-controller-manager
name: kube-controller-manager
namespace: kube-system
subsets:
- addresses:
- ip: 10.0.0.5
- ip: 10.0.0.15
- ip: 10.0.0.20
ports:
- name: http-metrics
port: 10252
protocol: TCP
2、coredns配置
我在测试环境和线上环境都遇到了coredns无法发现的问题。
出现这个问题的原因在于/data/monitor/kube-prometheus/manifests/prometheus-serviceMonitorCoreDNS.yaml这个文件：
上面的matchLabels为kube-dns，而实际上不是这个label：
pod/coredns-58d6869b44-ddczz 1/1 Running 0 4d4h 10.8.5.2 10.0.0.5 <none> <none> pod/coredns-58d6869b44-zrkx4 1/1 Running 0 4d4h 10.8.4.2 10.0.0.15 <none> <none> service/coredns ClusterIP 10.254.0.10 <none> 53/UDP,53/TCP,9153/TCP 4d4h k8s-app=coredns
实际上是coredns，所以需要修改。
同时，rules里面也需要修改。
修改完成后：
恢复正常。
3、自定义监控项
除了 Kubernetes 集群中的一些资源对象、节点以及组件需要监控，有的时候我们可能还需要根据实际的业务需求去添加自定义的监控项，添加一个自定义监控的步骤也是非常简单的。
- 第一步建立一个 ServiceMonitor 对象，用于 Prometheus 添加监控项
- 第二步为 ServiceMonitor 对象关联 metrics 数据接口的一个 Service 对象
- 第三步确保 Service 对象可以正确获取到 metrics 数据
比如，在我这套环境中，业务那边在测试微服务，启动了2个pod。
同时他开放了7000端口作为数据接口：
新建serviceMonitor文件:
cat prometheus-serviceMonitorJx3recipe.yaml
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
name: jx3recipe
namespace: monitoring
labels:
k8s-app: jx3recipe
spec:
jobLabel: k8s-app
endpoints:
- port: port
interval: 30s
scheme: http
selector:
matchLabels:
run: jx3recipe
namespaceSelector:
matchNames:
- default
新建service文件
cat prometheus-jx3recipeService.yaml
apiVersion: v1
kind: Service
metadata:
name: jx3recipe
namespace: default
labels:
run: jx3recipe
spec:
type: ClusterIP
clusterIP: None
ports:
- name: port
port: 7000
protocol: TCP
---
apiVersion: v1
kind: Endpoints
metadata:
name: jx3recipe
namespace: default
labels:
run: jx3recipe
subsets:
- addresses:
- ip: 10.8.0.19
nodeName: jx3recipe-01
- ip: 10.8.2.17
nodeName: jx3recipe-02
ports:
- name: port
port: 7000
protocol: TCP
这里有个问题，我把EP写死了，可能容器重启后，IP地址改变的话，就不行了，所以这里有点问题。
kubectl apply -f prometheus-jx3recipeService.yaml kubectl apply -f prometheus-serviceMonitorJx3recipe.yaml
在promethues的targets里面可以看到效果：
随便挑个item查看数据：
一切OK，后续我们就可以使用grafana定制dashboard了。
kube-promethues对外暴露
上面环境搭建完成后，服务都是对内的，我们需要对外进行暴露，由于环境是搭建在金山云上，所以直接使用公有云的LB即可。
grafana暴露
只需要把service的type改为LB。
直接通过外网IP访问即可。http://120.92.*.*:3000访问grafana。
进入后可以看到已经自带了很多dashboard，比较丰富，包括cluster、node、pod以及k8s的各个组件的监控数据。
Node
promethues本身
当然，我们还可以从grafana导入一些更加炫酷的dashboard，便于我们实时掌握资源使用情况。
相关文件已经上传到了github上，可以直接导入使用：
https://github.com/loveqx/k8s-study
