kube-proxy工作模式

1.userspace模式

userspace模式下，kube-proxy会为每一个Service创建一个监听端口，发向Cluster IP的请求被iptables规则重定向到kube-proxy监听的端口上，kube-proxy根据LB算法选择一个提供服务的Pod并和其建立链接，以将请求转发到Pod上。
该模式下，kube-proxy充当了一个四层负责均衡器的角色。由于kubbe-proxy运行在userspace中，在进行转发处理时会增加内核和用户空间之间的数据拷贝，虽然比较稳定，但是效率比较低。

2.iptables 模式

iptables模式下，kube-proxy为service后端的每个Pod创建对应的iptables规则，直接将发向Cluster IP的请求重定向到一个Pod IP。
该模式下kube-proxy不承担四层负责均衡器的角色，只负责创建iptables规则。该模式的优点是较userspace模式效率更高，但不能提供灵活的 LB策略，当后端Pod不可用时也无法进行重试。

当你的宿主机上有大量 Pod 的时候，成百上千条 iptables 规则不断地被刷新，会大量占用该宿主机的 CPU 资源，甚至会让宿主机“卡”在这个过程中。

3.ipvs模式

ipvs模式和iptables类似，kube-proxy监控Pod的变化并创建相应的ipvs规则。ipvs相对iptables转发效率更高。除此之外，ipvs支持更多的LB算法。

开启IPVS：

kubectl edit cm kube-proxy -n kube-system
#修改配置，将mode改为ipvs

IPVS 模式的工作原理，其实跟 iptables 模式类似。当我们创建了Service 之后，kube-proxy 首先会在宿主机上创建一个虚拟网卡（叫作：kube-ipvs0），并为它分配 Service VIP 作为 IP 地址，如下所示：

# ip addr |grep ipvs0
4: kube-ipvs0: <BROADCAST,NOARP> mtu 1500 qdisc noop state DOWN group default 
    inet 10.109.244.53/32 scope global kube-ipvs0
    inet 10.108.144.60/32 scope global kube-ipvs0
    inet 10.99.87.185/32 scope global kube-ipvs0
    inet 10.108.126.200/32 scope global kube-ipvs0
    inet 10.101.100.139/32 scope global kube-ipvs0
...

而接下来，kube-proxy 就会通过 Linux 的 IPVS 模块，为这个 IP 地址设置1个或者多个 IPVS 虚拟主机，并设置这虚拟主机之间使用轮询模式 (rr) 来作为负载均衡策略。我们可以通过 ipvsadm 查看到这个设置，如下所示：

# yum -y install ipvsadm
# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.101.31:30002 rr
  -> 100.87.199.51:8001           Masq    1      0          0         
TCP  192.168.101.31:30003 rr
  -> 100.87.199.45:8181           Masq    1      0          0         
TCP  192.168.101.31:30007 rr
  -> 100.120.47.208:8080          Masq    1      0          0         
...  

而相比于 iptables，IPVS 在内核中的实现其实也是基于 Netfilter 的 NAT 模式，所以在转发这一层上，理论上 IPVS 并没有显著的性能提升。但是，IPVS 并不需要在宿主机上为每个 Pod 设置 iptables 规则，而是把对这些“规则”的处理放到了内核态，从而极大地降低了维护这些规则的代价。这也正印证了我在前面提到过的，“将重要操作放入内核态”是提高性能的重要手段。

IPVS模式与iptables同样基于Netfilter，但是ipvs采用的hash表，iptables采用一条条的规则列表。iptables又是为了防火墙设计的，集群数量越多iptables规则就越多，而iptables规则是从上到下匹配，所以效率就越是低下。因此当service数量达到一定规模时，hash查表的速度优势就会显现出来，从而提高service的服务性能。

ipvs和iptables都是基于netfilter的，两者差别如下：

• ipvs 为大型集群提供了更好的可扩展性和性能
• ipvs 支持比 iptables 更复杂的负载均衡算法（最小负载、最少连接、加权等等）
• ipvs 支持服务器健康检查和连接重试等功能