Service详解

Service 的概念

Kubernetes Service 定义了这样一种抽象：一个 Pod 的逻辑分组，一种可以访问它们的策略 —— 通常称为微服务。 这一组 Pod 能够被 Service 访问到，通常是通过 Label Selector

 

 

 

 

 

 

Service能够提供负载均衡的能力，但是在使用上有以下限制：

  • 只提供 4 层负载均衡能力，而没有 7 层功能，但有时我们可能需要更多的匹配规则来转发请求，这点上 4 层负载均衡是不支持的

 

 

 

Service 的类型

 

Service 在 K8s 中有以下四种类型

  • ClusterIp：默认类型，自动分配一个仅 Cluster 内部可以访问的虚拟 IP

  •  

     clusterIP 的方式会创建一个虚拟IP地址，该地址没有基于某个实际网卡创建，所以在宿主机上是无法访问的，仅能在集群内部访问，也就是在容器内部访问

  • NodePort：在 ClusterIP 基础上为 Service 在每台机器上绑定一个端口，这样就可以通过 : NodePort 来访

问该服务

 

NodePort 是通过映射端口到宿主机的方式，访问地址为宿主机IP地址加上端口的方式，和hostPort 类似，但是NodePort 会在kubernetes集群的所有node上监听，也就是说创建一个Service ，配置了一个NodePort 监听30000端口，那么集群内所有的node都会监听30000端口，不管访问该node上有没有对应的pod，随意访问任何一台node的30000端口都可以被转发到正确的后端pod中；

 

 

 

 

  • LoadBalancer：在 NodePort 的基础上，借助 cloud provider 创建一个外部负载均衡器，并将请求转发

到: NodePort

 

 

 

  • ExternalName：把集群外部的服务引入到集群内部来，在集群内部直接使用。没有任何类型代理被创建，

这只有 kubernetes 1.7 或更高版本的 kube-dns 才支持

 

 

 

 


 

 

 


 

VIP 和 Service 代理

在 Kubernetes 集群中，每个 Node 运行一个 kube-proxy 进程。 kube-proxy 负责为 Service 实现了一种VIP（虚拟 IP）的形式，而不是 ExternalName 的形式。 在 Kubernetes v1.0 版本，代理完全在 userspace。在Kubernetes v1.1 版本，新增了 iptables 代理，但并不是默认的运行模式。 从 Kubernetes v1.2 起，默认就是iptables 代理。 在 Kubernetes v1.8.0-beta.0 中，添加了 ipvs 代理

 

在 Kubernetes 1.14 版本开始默认使用 ipvs 代理

 

在 Kubernetes v1.0 版本， Service 是 “4层”（TCP/UDP over IP）概念。 在 Kubernetes v1.1 版本，新增了Ingress API（beta 版），用来表示 “7层”（HTTP）服务

 

为何不使用 round-robin DNS？

客户端访问完成后， DNS里面会存在缓存

 

代理模式的分类

 

userspace 代理模式

 

 

 

 

 

由此图课件，各种访问都要通过kube-proxy，所以它的的压力是比较大的，而且还有 apiserver对它的监控

 

 

iptables 代理模式

 

 

 

 

 

 

ipvs 代理模式

 

这种模式，kube-proxy 会监视 Kubernetes Service 对象和 Endpoints ，调用 netlink 接口以相应地创建ipvs 规则并定期与 Kubernetes Service 对象和 Endpoints 对象同步 ipvs 规则，以确保 ipvs 状态与期望一致。访问服务时，流量将被重定向到其中一个后端 Pod

 

与 iptables 类似，ipvs 于 netfilter 的 hook 功能，但使用哈希表作为底层数据结构并在内核空间中工作。这意味着 ipvs 可以更快地重定向流量，并且在同步代理规则时具有更好的性能。此外，ipvs 为负载均衡算法提供了更多选项，例如：

  • rr ：轮询调度

  • lc ：最小连接数

  • dh ：目标哈希

  • sh ：源哈希

  • sed ：最短期望延迟

  • nq ： 不排队调度

 

注意：ipvs模式假定在运行kube-proxy之前在节点上都已经安装了IPVS内核模块。当kube-proxy以ipvs代理模式启动时，kube-proxy将验证节点上是否安装了
IPvS模块，如果未安装，则kube-proxy将回退到iptables代理模式。

 

 

 

 

 

 

 

[root@k8s-master01 ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
[root@k8s-master01 ~]#


 

ClusterIP

 

clusterIP 主要在每个 node 节点使用 iptables，将发向 clusterIP 对应端口的数据，转发到 kube-proxy 中。然后 kube-proxy 自己内部实现有负载均衡的方法，并可以查询到这个 service 下对应 pod 的地址和端口，进而把数据转发给对应的 pod 的地址和端口

 

 

 

 

 

为了实现图上的功能，主要需要以下几个组件的协同工作：

 

  • apiserver 用户通过kubectl命令向apiserver发送创建service的命令，apiserver接收到请求后将数据存储

到etcd中

  • kube-proxy kubernetes的每个节点中都有一个叫做kube-porxy的进程，这个进程负责感知service，pod

的变化，并将变化的信息写入本地的iptables规则中

 

 

 

  • iptables 使用NAT等技术将virtualIP的流量转至endpoint中

 

 

 

创建 myapp-deploy.yaml 文件


apiVersion: apps/v1
kind: Deployment
metadata:
  name: myapp-deploy
  namespace: default
spec:
  replicas: 3
  selector:
    matchLabels:
      app: myapp
      release: stabel
  template:
    metadata:
      labels:
        app: myapp
        release: stabel
        env: test
    spec:
      containers:
      - name: myapp
        image: nginx
        imagePullPolicy: IfNotPresent
        ports:
        - name: http
          containerPort: 80

 

[root@k8s-master01 ~]# vim svc-deployment.yaml


[root@k8s-master01 ~]# kubectl apply -f svc-deployment.yaml
deployment.apps/myapp-deploy created


[root@k8s-master01 ~]# kubectl get pod
NAME                           READY   STATUS    RESTARTS   AGE
myapp-deploy-57f6c889b-6884f   1/1     Running   0          8s
myapp-deploy-57f6c889b-rp9cg   1/1     Running   0          8s
myapp-deploy-57f6c889b-wj49b   1/1     Running   0          8s


[root@k8s-master01 ~]# kubectl get pod -o wide
NAME                           READY   STATUS    RESTARTS   AGE   IP            NODE         NOMINATED NODE   READINESS GATES
myapp-deploy-57f6c889b-6884f   1/1     Running   0          34s   10.244.2.49   k8s-node02   <none>           <none>
myapp-deploy-57f6c889b-rp9cg   1/1     Running   0          34s   10.244.2.48   k8s-node02   <none>           <none>
myapp-deploy-57f6c889b-wj49b   1/1     Running   0          34s   10.244.1.50   k8s-node01   <none>           <none>


[root@k8s-master01 ~]# curl  10.244.2.49
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
（这里就不展示了）
</body>
</html>
[root@k8s-master01 ~]#

 

创建 Service 信息


apiVersion: v1
kind: Service
metadata:
  name: myapp
  namespace: default
spec:
  type: ClusterIP
  selector:
    app: myapp
    release: stabel
  ports:
  - name: http
    port: 80
    targetPort: 80

 

[root@k8s-master01 ~]# vim svc.yaml


[root@k8s-master01 ~]# kubectl apply -f svc.yaml
service/myapp created


[root@k8s-master01 ~]# kubectl get svc
NAME         TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)   AGE
kubernetes   ClusterIP   10.96.0.1      <none>        443/TCP   7d11h
myapp        ClusterIP   10.103.2.198   <none>        80/TCP    11s


[root@k8s-master01 ~]# curl 10.103.2.198
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
</head>
<body>
<h1>Welcome to nginx!</h1>
</body>
</html>
[root@k8s-master01 ~]#

[root@k8s-master01 ~]# curl 10.103.2.198 /hostname.html
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
</head>
<body>
<h1>Welcome to nginx!</h1>
</body>
</html>
curl: (3) <url> malformed
[root@k8s-master01 ~]#

[root@k8s-master01 ~]# ipvsadm -Ln（此处有问题，应该看到信息的）
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
[root@k8s-master01 ~]#

 

[root@k8s-master01 ~]# kubectl delete -f svc.yaml （也可以这样指定yaml文件删除资源）
service "myapp" deleted
[root@k8s-master01 ~]#

 

 

 

 

 

 

 

 

Headless Service

注：Headless 也是一种特殊的ClusterIP

 

有时不需要或不想要负载均衡，以及单独的 Service IP 。遇到这种情况，可以通过指定 ClusterIP(spec.clusterIP) 的值为 “None” 来创建 Headless Service 。这类 Service 并不会分配 Cluster IP， kubeproxy 不会处理它们，而且平台也不会为它们进行负载均衡和路由

 

apiVersion: v1
kind: Service
metadata:
  name: myapp-headless
  namespace: default
spec:
  selector:
    app: myapp
  clusterIP: "None"
  ports:
  - port: 80
    targetPort: 80
[root@k8s-master mainfests]# dig -t A myapp-headless.default.svc.cluster.local. @10.96.0.10

 

 [root@k8s-master01 ~]# vim svc-none.yaml


[root@k8s-master01 ~]# kubectl apply -f svc-none.yaml
service/myapp-headless created


[root@k8s-master01 ~]# kubectl get svc
NAME             TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)   AGE
kubernetes       ClusterIP   10.96.0.1      <none>        443/TCP   7d11h
myapp            ClusterIP   10.103.2.198   <none>        80/TCP    24m
myapp-headless   ClusterIP   None           <none>        80/TCP    34s
[root@k8s-master01 ~]#


[root@k8s-master01 ~]# yum -y install bind-utils（下载一下dig命令）

 

[root@k8s-master01 ~]# kubectl get pod -n kube-system -o wide（查看一下域名解析）
NAME                                   READY   STATUS    RESTARTS      AGE     IP            NODE           NOMINATED NODE   READINESS GATES
coredns-6d8c4cb4d-dqwn8                1/1     Running   6 (34h ago)   7d11h   10.244.0.15   k8s-master01   <none>           <none>
coredns-6d8c4cb4d-lx9c6                1/1     Running   6 (34h ago)   7d11h   10.244.0.14   k8s-master01   <none>           <none>
etcd-k8s-master01                      1/1     Running   7 (34h ago)   7d11h   172.21.0.6    k8s-master01   <none>           <none>
kube-apiserver-k8s-master01            1/1     Running   6 (34h ago)   7d11h   172.21.0.6    k8s-master01   <none>           <none>
kube-controller-manager-k8s-master01   1/1     Running   6 (34h ago)   7d11h   172.21.0.6    k8s-master01   <none>           <none>
kube-flannel-ds-78zh6                  1/1     Running   5 (34h ago)   7d11h   172.21.0.9    k8s-node02     <none>           <none>
kube-flannel-ds-gcfpm                  1/1     Running   6 (34h ago)   7d11h   172.21.0.6    k8s-master01   <none>           <none>
kube-flannel-ds-gwv5h                  1/1     Running   5 (63m ago)   7d11h   172.21.0.13   k8s-node01     <none>           <none>
kube-proxy-ht4bl                       1/1     Running   5 (63m ago)   7d11h   172.21.0.13   k8s-node01     <none>           <none>
kube-proxy-scjvz                       1/1     Running   6 (34h ago)   7d11h   172.21.0.6    k8s-master01   <none>           <none>
kube-proxy-t68wn                       1/1     Running   5 (34h ago)   7d11h   172.21.0.9    k8s-node02     <none>           <none>
kube-scheduler-k8s-master01            1/1     Running   6 (34h ago)   7d11h   172.21.0.6    k8s-master01   <none>           <none>
[root@k8s-master01 ~]#

[root@k8s-master01 ~]# dig -t A myapp-headless.default.svc.cluster.local. @10.244.0.15（通过这个命令查看下容器的ip）

; <<>> DiG 9.11.4-P2-RedHat-9.11.4-26.P2.el7_9.9 <<>> -t A myapp-headless.default.svc.cluster.local. @10.244.0.15
;; global options: +cmd
;; Got answer:
;; WARNING: .local is reserved for Multicast DNS
;; You are currently testing what happens when an mDNS query is leaked to DNS
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 40836
;; flags: qr aa rd; QUERY: 1, ANSWER: 3, AUTHORITY: 0, ADDITIONAL: 1
;; WARNING: recursion requested but not available

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 4096
;; QUESTION SECTION:
;myapp-headless.default.svc.cluster.local. IN A

;; ANSWER SECTION:
myapp-headless.default.svc.cluster.local. 30 IN    A 10.244.1.50
myapp-headless.default.svc.cluster.local. 30 IN    A 10.244.2.49
myapp-headless.default.svc.cluster.local. 30 IN    A 10.244.2.48

;; Query time: 0 msec
;; SERVER: 10.244.0.15#53(10.244.0.15)
;; WHEN: Sun Jul 10 21:53:48 CST 2022
;; MSG SIZE  rcvd: 237
[root@k8s-master01 ~]#

[root@k8s-master01 ~]# kubectl get pod -o wide（我们发现和上面解析出来的ip一样）
NAME                           READY   STATUS    RESTARTS   AGE   IP            NODE         NOMINATED NODE   READINESS GATES
myapp-deploy-57f6c889b-6884f   1/1     Running   0          55m   10.244.2.49   k8s-node02   <none>           <none>
myapp-deploy-57f6c889b-rp9cg   1/1     Running   0          55m   10.244.2.48   k8s-node02   <none>           <none>
myapp-deploy-57f6c889b-wj49b   1/1     Running   0          55m   10.244.1.50   k8s-node01   <none>           <none>
[root@k8s-master01 ~]#

 

 

理解：虽然在headless中我们没有了具体svc，但是我们依然可以通过访问域名来访问这些pod

 

NodePort

nodePort 的原理在于在 node 上开了一个端口，将向该端口的流量导入到 kube-proxy，然后由 kube-proxy 进一步到给对应的 pod

 

apiVersion: v1
kind: Service
metadata:
  name: myapp
  namespace: default
spec:
  type: NodePort
  selector:
    app: myapp
    release: stabel
  ports:
  - name: http
    port: 80
    targetPort: 80
​

 

[root@k8s-master01 ~]# vim nodeport.yaml


[root@k8s-master01 ~]# kubectl apply -f nodeport.yaml
service/myapp configured


[root@k8s-master01 ~]# kubectl get svc
NAME             TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)        AGE
kubernetes       ClusterIP   10.96.0.1      <none>        443/TCP        7d12h
myapp            NodePort    10.103.2.198   <none>        80:31957/TCP   39m
myapp-headless   ClusterIP   None           <none>        80/TCP         15m
[root@k8s-master01 ~]#

（我们可以发现，一组pod可以对应多个svc，只要svc的标签和pod标签一致，就可以被关联到！它们是多对多的关系）

t@k8s-master01 ~]# kubectl get svc
NAME             TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)        AGE
kubernetes       ClusterIP   10.96.0.1      <none>        443/TCP        7d12h
myapp            NodePort    10.103.2.198   <none>        80:31957/TCP   39m
myapp-headless   ClusterIP   None           <none>        80/TCP         15m
[root@k8s-master01 ~]#

（外网访问时就可以通过ip+端口号来访问，我这里没有设置安全组的规则，所有肯定访问 不成功，就不尝试了，这里的ip可以是master或者node的ip）

[root@k8s-master01 ~]# netstat -anpt|grep :31957
tcp        0      0 0.0.0.0:31957           0.0.0.0:*               LISTEN      2979/kube-proxy     
[root@k8s-master01 ~]#

 

查询流程


iptables -t nat -nvL
KUBE-NODEPORTS

[root@k8s-master01 ~]# ipvsadm -Ln（我这里可能是没有设置，所以一直没有显示信息！）
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
[root@k8s-master01 ~]#

 

 

LoadBalancer

loadBalancer 和 nodePort 其实是同一种方式。区别在于 loadBalancer 比 nodePort 多了一步，就是可以调用cloud provider 去创建 LB 来向节点导流

 

 

 

 

 

 

ExternalName

这种类型的 Service 通过返回 CNAME 和它的值，可以将服务映射到 externalName 字段的内容( 例如：my.database.example.com )。ExternalName Service 是 Service 的特例，它没有 selector，也没有定义任何的端口和Endpoint。相反的，对于运行在集群外部的服务，它通过返回该外部服务的别名这种方式来提供服务


kind: Service
apiVersion: v1
metadata:
  name: my-service-1
  namespace: default
spec:
  type: ExternalName
  externalName: my.database.example.com
​

 

[root@k8s-master01 ~]# vim ex.yaml


[root@k8s-master01 ~]# kubectl create -f ex.yaml
service/my-service-1 created


[root@k8s-master01 ~]# kubectl get svc
NAME             TYPE           CLUSTER-IP     EXTERNAL-IP               PORT(S)        AGE
kubernetes       ClusterIP      10.96.0.1      <none>                    443/TCP        7d12h
my-service-1     ExternalName   <none>         my.database.example.com   <none>         9s
myapp            NodePort       10.103.2.198   <none>                    80:31957/TCP   66m
myapp-headless   ClusterIP      None           <none>                    80/TCP         42m


[root@k8s-master01 ~]# dig -t A my-service-1.default.svc.cluster.local. @10.244.0.15
; <<>> DiG 9.11.4-P2-RedHat-9.11.4-26.P2.el7_9.9 <<>> -t A my-service-1.default.svc.cluster.local. @10.244.0.15
;; global options: +cmd
;; Got answer:
;; WARNING: .local is reserved for Multicast DNS
;; You are currently testing what happens when an mDNS query is leaked to DNS
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 18757
;; flags: qr aa rd; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 1
;; WARNING: recursion requested but not available

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 4096
;; QUESTION SECTION:
;my-service-1.default.svc.cluster.local.    IN A

;; ANSWER SECTION:
my-service-1.default.svc.cluster.local.    30 IN CNAME my.database.example.com.

;; Query time: 217 msec
;; SERVER: 10.244.0.15#53(10.244.0.15)
;; WHEN: Sun Jul 10 22:31:43 CST 2022
;; MSG SIZE  rcvd: 142

[root@k8s-master01 ~]#

（相当于一个DNS的别名操作，具体的功能是把外部的服务引入到集群内部）

 

当查询主机 my-service.defalut.svc.cluster.local ( SVC_NAME.NAMESPACE.svc.cluster.local )时，集群的DNS 服务将返回一个值 my.database.example.com 的 CNAME 记录。访问这个服务的工作方式和其他的相同，唯一不同的是重定向发生在 DNS 层，而且不会进行代理或转发

 

 

 



posted @ 2022-07-10 22:50  屯子里唯一的架构师  阅读(135)  评论(0)  编辑  收藏  举报