kubernetes架构及deployment应用（4）
Kubernetes Cluster 由 Master 和 Node 组成，节点上运行着若干 Kubernetes 服务。
一、master节点
Master 是 Kubernetes Cluster 的大脑，运行着如下 Daemon 服务：kube-apiserver、kube-scheduler、kube-controller-manager、etcd 和 Pod 网络（例如 flannel、calico）。
1、API Server（kube-apiserver）
API Server 提供 HTTP/HTTPS RESTful API，即 Kubernetes API。API Server 是 Kubernetes Cluster 的前端接口，各种客户端工具（CLI 或 UI）以及 Kubernetes 其他组件可以通过它管理 Cluster 的各种资源。
2、Scheduler（kube-scheduler）
Scheduler 负责决定将 Pod 放在哪个 Node 上运行。Scheduler 在调度时会充分考虑 Cluster 的拓扑结构，当前各个节点的负载，以及应用对高可用、性能、数据亲和性的需求。
3、Controller Manager（kube-controller-manager）
Controller Manager 负责管理 Cluster 各种资源，保证资源处于预期的状态。Controller Manager 由多种 controller 组成，包括 replication controller、endpoints controller、namespace controller、serviceaccounts controller 等。
不同的 controller 管理不同的资源。例如 replication controller 管理 Deployment、StatefulSet、DaemonSet 的生命周期，namespace controller 管理 Namespace 资源。
4、etcd
etcd 负责保存 Kubernetes Cluster 的配置信息和各种资源的状态信息。当数据发生变化时，etcd 会快速地通知 Kubernetes 相关组件。
5、Pod 网络
Pod 要能够相互通信，Kubernetes Cluster 必须部署 Pod 网络，flannel 是其中一个可选方案。
二、node节点
Node 是 Pod 运行的地方，Kubernetes 支持 Docker、rkt 等容器 Runtime。 Node上运行的 Kubernetes 组件有 kubelet、kube-proxy 和 Pod 网络（例如 flannel、calico）。
1、kubelet
kubelet 是 Node 的 agent，当 Scheduler 确定在某个 Node 上运行 Pod 后，会将 Pod 的具体配置信息（image、volume 等）发送给该节点的 kubelet，kubelet 根据这些信息创建和运行容器，并向 Master 报告运行状态。
2、kube-proxy
service 在逻辑上代表了后端的多个 Pod，外界通过 service 访问 Pod。service 接收到的请求是如何转发到 Pod 的呢？这就是 kube-proxy 要完成的工作。
每个 Node 都会运行 kube-proxy 服务，它负责将访问 service 的 TCP/UPD 数据流转发到后端的容器。如果有多个副本，kube-proxy 会实现负载均衡。
3、Pod 网络
Pod 要能够相互通信，Kubernetes Cluster 必须部署 Pod 网络，flannel 是其中一个可选方案。
完整的架构图
问题：为什么 k8s-master 上也有 kubelet 和 kube-proxy 呢？
这是因为 Master 上也可以运行应用，即 Master 同时也是一个 Node。
几乎所有的 Kubernetes 组件本身也运行在 Pod 里，执行如下命令：
[root@ren7 ~]# kubectl get pod --all-namespaces -o wide NAMESPACE NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES kube-system calico-kube-controllers-7dd985b95c-s8q64 1/1 Running 1 43h 192.168.11.6 192.168.11.6 <none> <none> kube-system calico-node-fwrnb 2/2 Running 6 43h 192.168.11.7 192.168.11.7 <none> <none> kube-system calico-node-tpbgh 2/2 Running 2 43h 192.168.11.6 192.168.11.6 <none> <none> kube-system calico-node-z7wxb 2/2 Running 2 43h 192.168.11.5 192.168.11.5 <none> <none> kube-system coredns-64d5b756bc-bcmqd 1/1 Running 1 43h 172.20.33.69 192.168.11.6 <none> <none> kube-system coredns-64d5b756bc-bmj2v 1/1 Running 2 43h 172.20.72.136 192.168.11.5 <none> <none> kube-system heapster-7f48ff4cd9-6zmqr 1/1 Running 1 22h 172.20.33.71 192.168.11.6 <none> <none> kube-system kubernetes-dashboard-6f75588d94-g6vcr 1/1 Running 1 43h 172.20.72.137 192.168.11.5 <none> <none> kube-system monitoring-grafana-6c76875cb-8zjrv 1/1 Running 1 22h 172.20.33.70 192.168.11.6 <none> <none> kube-system monitoring-influxdb-66dbc76bf9-9lsqk 1/1 Running 1 22h 172.20.72.135 192.168.11.5 <none> <none>
Kubernetes 的系统组件都被放到kube-system namespace 中。这里有一个kube-dns 组件，它为 Cluster 提供 DNS 服务。kube-dns是在执行kubeadm init 时作为附加组件安装的。
kubelet 是唯一没有以容器形式运行的 Kubernetes 组件，它在系统中通过 Systemd 运行。
[root@ren7 ~]# systemctl status kubelet ● kubelet.service - Kubernetes Kubelet Loaded: loaded (/etc/systemd/system/kubelet.service; enabled; vendor preset: disabled) Active: active (running) since 五 2019-10-25 12:01:42 CST; 3h 4min ago
三、通过例子理解kubernetes架构
部署httpd应用
[root@ren7 ~]# docker pull reg.yunwei.com/learn/httpd:latest latest: Pulling from learn/httpd 8d691f585fa8: Pull complete 8eb779d8bd44: Pull complete 574add29ec5c: Pull complete 9ccffbf4a714: Pull complete 166e14b82905: Pull complete Digest: sha256:64d607e1a0d145d90e4bf811491c3b51c04a55d393e307c0ab0fb8e26c8b098c Status: Downloaded newer image for reg.yunwei.com/learn/httpd:latest [root@ren7 ~]# kubectl run httpd-app --image=reg.yunwei.com/learn/httpd:latest --replicas=2 kubectl run --generator=deployment/apps.v1 is DEPRECATED and will be removed in a future version. Use kubectl run --generator=run-pod/v1 or kubectl create instead. deployment.apps/httpd-app created [root@ren7 ~]# kubectl get deployment NAME READY UP-TO-DATE AVAILABLE AGE httpd-app 2/2 2 2 31s [root@ren7 ~]# kubectl get pod -n default -o wide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES httpd-app-5658cff777-2shc7 1/1 Running 0 57s 172.20.72.138 192.168.11.5 <none> <none> httpd-app-5658cff777-mfgtn 1/1 Running 0 57s 172.20.33.72 192.168.11.6 <none> <none>
Kubernetes 部署了 deployment httpd-app，有两个副本 Pod，分别运行在k8s-node2 和 k8s-node3上。
整个部署过程如下：
① kubectl 发送部署请求到 API Server。
② API Server 通知 Controller Manager 创建一个 deployment 资源。
③ Scheduler 执行调度任务，将两个副本 Pod 分发到 k8s-node1 和 k8s-node2。
④ k8s-node1 和 k8s-node2 上的 kubectl 在各自的节点上创建并运行 Pod。
补充两点：
（1）应用的配置和当前状态信息保存在 etcd 中，执行 kubectl get pod 时 API Server 会从 etcd 中读取这些数据。
（2）flannel（calico）会为每个 Pod 都分配 IP。因为没有创建 service，目前 kube-proxy 还没参与进来。
四、用deployment运行应用
Kubernetes 作为容器编排引擎，最重要也是最基本的功能当然是运行容器化应用。
我们知道 Kubernetes 通过各种 Controller 来管理 Pod 的生命周期。为了满足不同业务场景，Kubernetes 开发了 Deployment、ReplicaSet、DaemonSet、StatefuleSet、Job 等多种 Controller。首先学习最常用的 Deployment。
（1）上面我们运行了一个http-app，下面详细分析 Kubernetes 都做了些什么工作。
[root@ren7 ~]# kubectl get deployment -n default -o wide NAME READY UP-TO-DATE AVAILABLE AGE CONTAINERS IMAGES SELECTOR httpd-app 2/2 2 2 13m httpd-app reg.yunwei.com/learn/httpd:latest run=httpd-app
我们还可以用 kubectl describe deployment httpd-app了解更详细的信息。
[root@ren7 ~]# kubectl describe deployment httpd-app Name: httpd-app Namespace: default CreationTimestamp: Fri, 25 Oct 2019 15:15:30 +0800 Labels: run=httpd-app Annotations: deployment.kubernetes.io/revision: 1 Selector: run=httpd-app Replicas: 2 desired | 2 updated | 2 total | 2 available | 0 unavailable StrategyType: RollingUpdate MinReadySeconds: 0 RollingUpdateStrategy: 25% max unavailable, 25% max surge Pod Template: Labels: run=httpd-app Containers: httpd-app: Image: reg.yunwei.com/learn/httpd:latest Port: <none> Host Port: <none> Environment: <none> Mounts: <none> Volumes: <none> Conditions: Type Status Reason ---- ------ ------ Available True MinimumReplicasAvailable Progressing True NewReplicaSetAvailable OldReplicaSets: <none> NewReplicaSet: httpd-app-5658cff777 (2/2 replicas created) Events: Type Reason Age From Message ---- ------ ---- ---- ------- Normal ScalingReplicaSet 14m deployment-controller Scaled up replica set httpd-app-5658cff777 to 2
大部分内容都是自解释的，我们重点看最下面部分。这里告诉我们创建了一个 ReplicaSet httpd-app-5658cff777，Events 是 Deployment 的日志，记录了 ReplicaSet 的启动过程。
（2）通过上面的分析，也验证了 Deployment 通过 ReplicaSet 来管理 Pod 的事实。接着我们将注意力切换到 httpd-app-5658cff777，执行 kubectl describe replicaset：
[root@ren7 ~]# kubectl get replicaset NAME DESIRED CURRENT READY AGE httpd-app-5658cff777 2 2 2 19m
两个副本已经就绪，用 kubectl describe replicaset 查看详细信息：
[root@ren7 ~]# kubectl describe replicaset Name: httpd-app-5658cff777 Namespace: default Selector: pod-template-hash=5658cff777,run=httpd-app Labels: pod-template-hash=5658cff777 run=httpd-app Annotations: deployment.kubernetes.io/desired-replicas: 2 deployment.kubernetes.io/max-replicas: 3 deployment.kubernetes.io/revision: 1 Controlled By: Deployment/httpd-app Replicas: 2 current / 2 desired Pods Status: 2 Running / 0 Waiting / 0 Succeeded / 0 Failed Pod Template: Labels: pod-template-hash=5658cff777 run=httpd-app Containers: httpd-app: Image: reg.yunwei.com/learn/httpd:latest Port: <none> Host Port: <none> Environment: <none> Mounts: <none> Volumes: <none> Events: Type Reason Age From Message ---- ------ ---- ---- ------- Normal SuccessfulCreate 17m replicaset-controller Created pod: httpd-app-5658cff777-2shc7 Normal SuccessfulCreate 17m replicaset-controller Created pod: httpd-app-5658cff777-mfgtn
Controlled By 指明此 ReplicaSet 是由 Deployment/httpd-app 创建。Events 记录了两个副本 Pod 的创建。
（3）接着我们来看 Pod，执行 kubectl get pod -n default
[root@ren7 ~]# kubectl get pod -n default NAME READY STATUS RESTARTS AGE httpd-app-5658cff777-2shc7 1/1 Running 0 21m httpd-app-5658cff777-mfgtn 1/1 Running 0 21m
两个副本 Pod 都处于 Running 状态，用 kubectl describe pod -n default 查看更详细的信息：
[root@ren7 ~]# kubectl describe pod -n default Name: httpd-app-5658cff777-2shc7 Namespace: default Node: 192.168.11.5/192.168.11.5 Start Time: Fri, 25 Oct 2019 15:15:30 +0800 Labels: pod-template-hash=5658cff777 run=httpd-app Annotations: <none> Status: Running IP: 172.20.72.138 Controlled By: ReplicaSet/httpd-app-5658cff777 Containers: httpd-app: Container ID: docker://731b02abab31ba2755622d8a8239be8acc008935d7b7c532bfcdb3550dff0c3e Image: reg.yunwei.com/learn/httpd:latest Image ID: docker-pullable://reg.yunwei.com/learn/httpd@sha256:64d607e1a0d145d90e4bf811491c3b51c04a55d393e307c0ab0fb8e26c8b098c Port: <none> Host Port: <none> State: Running Started: Fri, 25 Oct 2019 15:15:58 +0800 Ready: True Restart Count: 0 Environment: <none> Mounts: /var/run/secrets/kubernetes.io/serviceaccount from default-token-qvqql (ro) Conditions: Type Status Initialized True Ready True ContainersReady True PodScheduled True Volumes: default-token-qvqql: Type: Secret (a volume populated by a Secret) SecretName: default-token-qvqql Optional: false QoS Class: BestEffort Node-Selectors: <none> Tolerations: <none> Events: Type Reason Age From Message ---- ------ ---- ---- ------- Normal Scheduled 22m default-scheduler Successfully assigned default/httpd-app-5658cff777-2shc7 to 192.168.11.5 Normal Pulling 22m kubelet, 192.168.11.5 Pulling image "reg.yunwei.com/learn/httpd:latest" Normal Pulled 21m kubelet, 192.168.11.5 Successfully pulled image "reg.yunwei.com/learn/httpd:latest" Normal Created 21m kubelet, 192.168.11.5 Created container httpd-app Normal Started 21m kubelet, 192.168.11.5 Started container httpd-app Name: httpd-app-5658cff777-mfgtn Namespace: default Node: 192.168.11.6/192.168.11.6 Start Time: Fri, 25 Oct 2019 15:15:30 +0800 Labels: pod-template-hash=5658cff777 run=httpd-app Annotations: <none> Status: Running IP: 172.20.33.72 Controlled By: ReplicaSet/httpd-app-5658cff777 Containers: httpd-app: Container ID: docker://361ff4437d9fa57860fbf4729bc13a415388086d8b3537edab747ddb9c839529 Image: reg.yunwei.com/learn/httpd:latest Image ID: docker-pullable://reg.yunwei.com/learn/httpd@sha256:64d607e1a0d145d90e4bf811491c3b51c04a55d393e307c0ab0fb8e26c8b098c Port: <none> Host Port: <none> State: Running Started: Fri, 25 Oct 2019 15:15:57 +0800 Ready: True Restart Count: 0 Environment: <none> Mounts: /var/run/secrets/kubernetes.io/serviceaccount from default-token-qvqql (ro) Conditions: Type Status Initialized True Ready True ContainersReady True PodScheduled True Volumes: default-token-qvqql: Type: Secret (a volume populated by a Secret) SecretName: default-token-qvqql Optional: false QoS Class: BestEffort Node-Selectors: <none> Tolerations: <none> Events: Type Reason Age From Message ---- ------ ---- ---- ------- Normal Scheduled 22m default-scheduler Successfully assigned default/httpd-app-5658cff777-mfgtn to 192.168.11.6 Normal Pulling 22m kubelet, 192.168.11.6 Pulling image "reg.yunwei.com/learn/httpd:latest" Normal Pulled 21m kubelet, 192.168.11.6 Successfully pulled image "reg.yunwei.com/learn/httpd:latest" Normal Created 21m kubelet, 192.168.11.6 Created container httpd-app Normal Started 21m kubelet, 192.168.11.6 Started container httpd-app
Controlled By 指明此 Pod 是由 ReplicaSet/httpd-app-5658cff777 创建。Events 记录了 Pod 的启动过程（ httpd-app-5658cff777-2shc7 和 httpd-app-5658cff777-mfgtn ）。如果操作失败（比如 image 不存在），也能在这里查看到原因。
总结一下这个过程：
（1）用户通过 kubectl 创建 Deployment。
（2）Deployment 创建 ReplicaSet。
（3）ReplicaSet 创建 Pod。
从上图也可以看出，对象的命名方式是：子对象的名字 = 父对象名字 + 随机字符串或数字。
pod生命周期阶段
pod的生命周期可以简单描述为：首先pod被创建，紧接着pod被调度到node进行部署运行。pod是非常忠诚的，一旦别分配到node后，就不会离开这个node，直到它被删除，生命周期完结。
pod的生命周期被定义为以下几个阶段：
（1）Pending：pod已经别创建，但是一个或者多个容器还未创建，这包括pod调度阶段，以及容器镜像的下载过程。
（2）Running：pod已经被调度到node，所有容器已经创建，并且至少一个容器在运行或者正在重启。
（3）Succeeded：pod中所有容器正常退出。
（4）Failed：pod中所有容器退出，至少有一个容器是一次退出的。
