Weave Scope 容器地图
创建 Kubernetes 集群并部署容器化应用只是第一步。一旦集群运行起来,我们需要确保一起正常,所有必要组件就位并各司其职,有足够的资源满足应用的需求。Kubernetes 是一个复杂系统,运维团队需要有一套工具帮助他们获知集群的实时状态,并为故障排查提供及时和准确的数据支持。
Weave Scope 是 Docker 和 Kubernetes 可视化监控工具。Scope 提供了至上而下的集群基础设施和应用的完整视图,用户可以轻松对分布式的容器化应用进行实时监控和问题诊断。
Weave Scope 的最大特点是会自动生成一张 Docker 容器地图,让我们能够直观地理解、监控和控制容器。千言万语不及一张图,先感受一下。
Weave Scope部署
1)进入到kubernetes目录下找到scope.yml文件。
[root@cicd kubernetes]# ls bash ca harbor-offline-installer-v1.4.0.tgz image.tar.gz kube-yunwei-197.tar.gz sock-shop bin ca.tar.gz image k8s197.tar.gz scope.yaml
2)创建weave名称空间
[root@cicd kubernetes]# kubectl create namespace weave
2)安装scope,执行如下命令:
#kubectl apply -f scope.yaml
部署成功后,有如下相关组件:
[root@cicd kubernetes]# kubectl get pod -n weave NAME READY STATUS RESTARTS AGE weave-scope-agent-4xw7b 1/1 Running 0 2h weave-scope-agent-cll6f 1/1 Running 0 2h weave-scope-agent-nfl8c 1/1 Running 0 2h weave-scope-app-5969c9bc78-fmm4s 1/1 Running 0 2h [root@cicd kubernetes]# kubectl get svc -n weave NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE weave-scope-app NodePort 10.68.210.240 <none> 80:33274/TCP 2h
注意port端口号,用来浏览器访问。
-
DaemonSet weave-scope-agent,集群每个节点上都会运行的 scope agent 程序,负责收集数据。
-
Deployment weave-scope-app,scope 应用,从 agent 获取数据,通过 Web UI 展示并与用户交互。
-
Service weave-scope-app,默认是 ClusterIP 类型,为了方便已通过 kubectl edit 修改为 NodePort。
使用weavescope
登陆weavescope
浏览器访问 http://ip:33274/,Scope 默认显示当前所有的Controller(Deployment、DaemonSet 等)。
拓扑结构
Scope 会自动构建应用和集群的逻辑拓扑。比如点击顶部 PODS,会显示所有 Pod 以及 Pod 之间的依赖关系。
同理点击 HOSTS,会显示各个节点之间的关系。
实时资源监控
可以在 Scope 中查看资源的 CPU 和内存使用情况。
支持图,表,柱状图显示
在线操作
Scope 还提供了便捷的在线操作功能,比如选中某个 Host,点击 >_ 按钮可以直接在浏览器中打开节点的命令行终端:
点击 Deployment 的 + 可以执行 Scale Up 操作:
可以 attach、restart、stop 容器,以及直接在 Scope 中排查问题:
详细信息包括这么几部分:
Status:CPU、内存的实时使用情况以及历史曲线。
INFO:容器 image、启动命令、状态、网络等信息。
以下几项需拉动滚动条查看。
PROCESSES:容器中运行的进程。
ENVIRONMENT VARIABLES:环境变量。
DOCKER LABELS:容器启动命令。
IMAGE:镜像详细信息。
在容器信息的上面还有一排操作按钮。
上图:左边框为atach按钮,右边框为exec按钮。一个是继续进程,一个是重开终端。
attach 到容器启动进程,相当于执行 docker container attach
打开shell,相当于执行docker container exec
重启容器,相当于执行 docker container restart
暂停容器,相当于执行 docker container pause
关闭容器,相当于执行 docker container stop
强大的搜索功能
Scope 支持关键字搜索和定位资源。
还可以进行条件搜索,比如查找和定位 cpu > 1% 的 Containers 。
Weave Scope 界面极其友好,操作简洁流畅。
二、用 Heapster 监控集群:
Heapster介绍
Heapster 是 Kubernetes 原生的集群监控方案。Heapster 以 Pod 的形式运行,它会自动发现集群节点、从节点上的 Kubelet 获取监控数据。Kubelet 则是从节点上的 cAdvisor 收集数据。
Heapster 将数据按照 Pod 进行分组,将它们存储到预先配置的 backend 并进行可视化展示。Heapster 当前支持的 backend 有 InfluxDB(通过 Grafana 展示),Google Cloud Monitoring 等。Heapster 的整体架构如下图所示:
Heapster 本身是一个 Kubernetes 应用,部署方法很简单,之前章节中我们实践了由 Heapster、InfluxDB 和 Grafana 组成的监控方案。Kubelet 和 cAdvisor 是 Kubernetes 的自带组件,无需额外部署。
部署步骤:
1)查看docker容器,并进入下载有ansible组件的容器。
[root@cicd kubernetes]# docker ps -a CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 415b685b8ace 1acb4fd5df5b "/bin/sh" 4 days ago Up 4 days keen_noyce 22c236dd2666 1acb4fd5df5b "/bin/sh" 4 days ago Up 4 days eloquent_bhabha [root@cicd kubernetes]# docker exec -it 415b685b8ace /bin/sh
2)进入之前配置的/etc/ansible/manifest/heapster目录下,执行:
[root@cicd kubernetes]# docker exec -it 415b685b8ace /bin/sh / # cd /etc/ansible//etc/ansible # ls 01.prepare.yml 03.docker.yml 05.kube-node.yml 99.clean.yml bin hosts roles 02.etcd.yml 04.kube-master.yml 06.network.yml ansible.cfg example manifests tools /etc/ansible # cd manifests/ /etc/ansible/manifests # ls coredns dashboard efk heapster ingress kubedns /etc/ansible/manifests # cd heapster/ /etc/ansible/manifests/heapster # ls grafana.yaml heapster.yaml influxdb-v1.1.1 influxdb-with-pv influxdb.yaml /etc/ansible/manifests/heapster # kubectl apply -f .
3)查看kube-system里的pod状态和service状态
/etc/ansible/manifests/heapster # kubectl get pod -n kube-system -o wide NAME READY STATUS RESTARTS AGE IP NODE calico-kube-controllers-754c88ccc8-fm9kn 1/1 Running 0 4d 192.168.253.11 192.168.253.11 calico-node-62wzk 2/2 Running 0 4d 192.168.253.14 192.168.253.14 calico-node-lszzj 2/2 Running 6 4d 192.168.253.10 192.168.253.10 calico-node-nvtwd 2/2 Running 0 4d 192.168.253.11 192.168.253.11 coredns-6ff7588dc6-62nnv 1/1 Running 0 9h 172.20.104.44 192.168.253.11 coredns-6ff7588dc6-f6d4z 1/1 Running 147 4d 172.20.104.1 192.168.253.11 heapster-7f8bf9bc46-l8qv5 1/1 Running 0 3h 172.20.104.60 192.168.253.11 kubernetes-dashboard-545b66db97-mmt6p 1/1 Running 0 9h 172.20.104.43 192.168.253.11 monitoring-grafana-64747d765f-rb59j 1/1 Running 0 3h 172.20.135.23 192.168.253.10 monitoring-influxdb-565ff5f9b6-m99z8 1/1 Running 0 3h 172.20.135.21 192.168.253.10
/etc/ansible/manifests/heapster # kubectl get svc -n kube-system -o wide NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR coredns ClusterIP 10.68.0.2 <none> 53/UDP,53/TCP 4d k8s-app=coredns heapster ClusterIP 10.68.198.107 <none> 80/TCP 3h k8s-app=heapster kubernetes-dashboard NodePort 10.68.6.114 <none> 443:37107/TCP 4d k8s-app=kubernetes-dashboard monitoring-grafana ClusterIP 10.68.59.90 <none> 80/TCP 3h k8s-app=grafana monitoring-influxdb ClusterIP 10.68.11.36 <none> 8086/TCP 3h k8s-app=influxdb
4)生成集群链接地址
/etc/ansible/manifests/heapster # kubectl cluster-info Kubernetes master is running at https://192.168.253.14:6443 CoreDNS is running at https://192.168.253.14:6443/api/v1/namespaces/kube-system/services/coredns:dns/proxy kubernetes-dashboard is running at https://192.168.253.14:6443/api/v1/namespaces/kube-system/services/https:kubernetes-dashboard:/proxy monitoring-grafana is running at https://192.168.253.14:6443/api/v1/namespaces/kube-system/services/monitoring-grafana/proxy
并打开浏览器访问。
如果需要下载grafana