【K8s网络】确定最佳网络选项
参考：https://docs.projectcalico.org/networking/determine-best-networking
Calico 灵活的模块化架构支持广泛的部署选项，因此您可以选择适合您特定环境和需求的最佳网络方法。 这包括使用各种 CNI 和 IPAM 插件以及底层网络类型在非覆盖或覆盖模式下运行的能力，有或没有 BGP。
相关概念
Kubernetes 网络基础
Kubernetes 网络模型定义了一个“扁平”网络，其中：
- 每个 pod 都有自己的 IP 地址。
- 任何节点上的 Pod 都可以在没有 NAT 的情况下与所有其他节点上的所有 Pod 通信。
这创建了一个干净的、向后兼容的模型，从端口分配、命名、服务发现、负载平衡、应用程序配置和迁移的角度来看，Pod 可以像 VM 或物理主机一样对待。 可以使用网络策略来定义网络分段，以限制这些基本网络功能内的流量。
在这个模型中，有很大的灵活性来支持不同的网络方法和环境。 网络具体如何实施的细节取决于所使用的 CNI、网络和云提供商插件的组合。
CNI插件
CNI（容器网络接口）是一个标准 API，它允许不同的网络实现接入 Kubernetes。 每当创建或销毁 Pod 时，Kubernetes 都会调用 API。 有两种类型的 CNI 插件：
- CNI 网络插件：负责向/从 Kubernetes pod 网络添加或删除 pod。这包括创建/删除每个 pod 的网络接口以及将其连接/断开连接到网络实现的其余部分。
- CNI IPAM 插件：负责在创建或删除 Pod 时为其分配和释放 IP 地址。根据插件的不同，这可能包括为每个节点分配一个或多个 IP 地址 (CIDR) 范围，或从底层公共云网络获取 IP 地址以分配给 pod。
覆盖网络
覆盖网络是分层在另一个网络之上的网络。 在 Kubernetes 的上下文中，覆盖网络可用于处理底层网络之上的节点之间的 Pod 到 Pod 流量，该网络不知道 Pod IP 地址或哪些 Pod 正在哪些节点上运行。 覆盖网络的工作原理是将底层网络不知道如何处理的网络数据包（例如使用 pod IP 地址）封装在底层网络知道如何处理的外部数据包中（例如节点 IP 地址）。 用于封装的两种常见网络协议是 VXLAN 和 IP-in-IP。
使用覆盖网络的主要优点是它减少了对底层网络的依赖。 例如，您可以在几乎任何底层网络之上运行 VXLAN 覆盖，而无需与底层网络集成或对底层网络进行任何更改。
使用覆盖网络的主要缺点是：
- 轻微的性能影响。 封装数据包的过程占用少量 CPU，数据包中用于编码封装（VXLAN 或 IP-in-IP 标头）的额外字节减少了可以发送的内部数据包的最大大小，从而可以意味着需要为相同数量的总数据发送更多数据包。
- Pod IP 地址在集群外部不可路由。
跨子网（Cross-subnet）覆盖
除了标准的 VXLAN 或 IP-in-IP 覆盖之外，Calico 还支持 VXLAN 和 IP-in-IP 的“跨子网”模式。 在这种模式下，在每个子网中，底层网络充当 L2 网络。 在单个子网内发送的数据包不会被封装，因此您可以获得非覆盖网络的性能。 跨子网发送的数据包被封装，就像普通的覆盖网络一样，减少对底层网络的依赖（无需与底层网络集成或对底层网络进行任何更改）。
就像标准覆盖网络一样，底层网络不知道 pod IP 地址，并且 pod IP 地址在集群外部不可路由。
集群外的 Pod IP 可路由性
不同 Kubernetes 网络实现的一个重要区别特征是 pod IP 地址是否可以跨更广泛的网络在集群外部路由。
不可路由
如果 pod IP 地址在集群外不可路由，那么当 pod 尝试与集群外的 IP 地址建立网络连接时，Kubernetes 使用一种称为 SNAT（源网络地址转换）的技术来更改源 IP从 pod 的 IP 地址到托管 pod 的节点的 IP 地址。 连接上的任何返回数据包都会自动映射回 pod IP 地址。 因此 pod 不知道 SNAT 正在发生，连接的目的地将节点视为连接的源，底层更广泛的网络永远不会看到 pod IP 地址。
对于相反方向的连接，集群外的东西需要连接到 pod，这只能通过 Kubernetes 服务或 Kubernetes 入口完成。 集群之外的任何东西都不能直接连接到 pod IP 地址，因为更广泛的网络不知道如何将数据包路由到 pod IP 地址。
可路由
如果 pod IP 地址可以在集群外路由，那么 pod 可以在没有 SNAT 的情况下连接到外部世界，并且外部世界可以直接连接到 pod，而无需通过 Kubernetes 服务或 Kubernetes 入口。
可在集群外路由的 pod IP 地址的优点是：
- 避免出站连接的 SNAT 对于与现有的更广泛的安全要求进行集成可能是必不可少的。 它还可以简化调试和操作日志的可理解性。
- 如果您有专门的工作负载，这意味着某些 pod 需要直接访问，而无需通过 Kubernetes 服务或 Kubernetes 入口，那么可路由的 pod IP 在操作上比使用主机网络 pod 的替代方案更简单。
可在集群外路由的 pod IP 地址的主要缺点是 pod IP 在更广泛的网络中必须是唯一的。 因此，例如，如果运行多个集群，您将需要为每个集群中的 pod 使用不同的 IP 地址范围 (CIDR)。 在大规模运行时，或者如果现有企业对 IP 地址空间有其他重大需求，这反过来又会导致 IP 地址范围耗尽挑战。
什么决定可路由性？
如果您为集群使用覆盖网络，则 pod IP 通常无法在集群外路由。
如果您没有使用覆盖网络，那么 pod IP 是否可在集群外路由取决于正在使用 CNI 插件、云提供商集成或（对于本地）BGP 对等物理网络的组合。
BGP
BGP（边界网关协议）是一种基于标准的网络协议，用于跨网络共享路由。 它是互联网的基本构建块之一，具有出色的扩展特性。
Calico 内置了对 BGP 的支持。 在本地部署中，这允许 Calico 与物理网络（通常是 Top 或 Rack 路由器）对等交换路由，形成一个非覆盖网络，其中 pod IP 地址可在更广泛的网络中路由，就像附加的任何其他工作负载一样到网络。
关于 Calico 网络
Calico 用于网络的灵活模块化架构包括以下内容。
Calico CNI 网络插件
Calico CNI 网络插件使用一对虚拟以太网设备（veth 对）将 pod 连接到主机网络命名空间的 L3 路由。 这种 L3 架构避免了许多其他 Kubernetes 网络解决方案中具有的额外 L2 桥接器的不必要的复杂性和性能开销。
Calico CNI IPAM 插件
Calico CNI IPAM 插件从一个或多个可配置的 IP 地址范围中为 pod 分配 IP 地址，根据需要为每个节点动态分配小块 IP。 与许多其他 CNI IPAM 插件（包括在许多网络解决方案中使用的主机本地 IPAM 插件）相比，结果是更有效地使用 IP 地址空间。
叠加网络模式
Calico 可以提供 VXLAN 或 IP-in-IP 覆盖网络，包括仅跨子网模式。
非重叠网络模式
Calico 可以提供在任何底层 L2 网络或 L3 网络之上运行的非覆盖网络，该网络是具有适当云提供商集成的公共云网络或具有 BGP 能力的网络（通常是具有标准 Top-of 的本地网络） -机架路由器）。
网络策略执行
Calico 的网络策略执行引擎实现了 Kubernetes 网络策略的全部功能，以及 Calico 网络策略的扩展功能。 这与 Calico 的内置网络模式或任何其他 Calico 兼容的网络插件和云提供商集成结合使用。
Calico 兼容的 CNI 插件
Host local IPAM
主机本地CNI IPAM插件是一个常用的IP地址管理CNI插件，它为每个节点分配一个固定大小的IP地址范围（CIDR），然后从该范围内分配pod IP地址。 默认地址范围大小为 256 个 IP 地址 (a /24)，但其中两个 IP 地址保留用于特殊用途，未分配给 pod。 主机本地 CNI IPAM 插件的简单性使其易于理解，但与 Calico CNI IPAM 插件相比，IP 地址空间使用效率较低。
Flannel
Flannel 使用从主机本地 IPAM CNI 插件获得的静态每节点 CIDR 路由 pod 流量。 Flannel 提供了许多网络后端，但主要与其 VXLAN 覆盖后端一起使用。 Calico CNI 和 Calico 网络策略可以与 flannel 和主机本地 IPAM 插件相结合，以提供具有策略执行功能的 VXLAN 网络。 这种组合有时被称为“Canal”。
注意 ：Calico 现在内置了对 VXLAN 的支持，为了简单起见，我们通常建议优先使用 Calico+Flannel 组合。
