低延迟是选 RoCE 还是 iWARP？
https://www.sohu.com/a/321460882_731721
本文作者：Marvell 技术营销经理 Todd Owens
如今，远程直接内存访问 (RDMA) 已经在高性能计算或云环境中受到广泛采用，以降低整个网络中的延迟。企业客户很快也将转向 RDMA 才能提供的低延迟网络，以此解决多种不同的应用，如 Oracle 和 SAP，同时还能部署采用 Windows Storage Spaces Direct (S2D) 或 VMware vSAN 的软件定义存储。在 RDMA 的部署中可以采用三种协议：基于Infiniband的 RDMA、基于聚合以太网 (RoCE) 的 RDMA 以及基于 iWARP 的 RDMA。鉴于以上多种可能的发展路径，您如何确保您所选择的协议能够契合您的特定任务？
在企业领域，目前来看以太网是最常用的传输技术。因此，我们可以忽略Infiniband这一选项，由于Infiniband要求对 I/O 现有的基础设施进行叉状升级，这会对绝大多数企业数据中心产生高昂的成本。于是，选择只剩下了RoCE和 iWARP。以上两者都能够在以太网络中提供低延迟连接。但是哪一款更适合您？
▼点击视频查看RoCE与iWARP的区别▼
首先，我们了解一下以上两种协议间的根本区别。RoCE 是两种协议中最常用的一种，并且已经为全球众多云端超大规模客户所采用，包括 Marvell 在内的多家供应商均能提供启用 RDMA 运行 RoCE 的适配器。
RoCE 能够提供1-5us范围内的适配器延迟，但要求有无损以太网才能实现低延迟运行。这意味着集成到网络中的以太网交换机必须支持数据中心桥接(DCB)和优先流控制(PFC)机制，以此才能维持无损流量。因此要想使用RoCE 可能需要重新配置以太网交换机。无损或聚合以太网的难点在于，在现代化的企业环境中，配置是一个复杂的流程，并且可扩展性会受到很大的局限。
尽管大规模采用 RoCE 并非完全不可能，但需要实施额外的流量拥堵控制机制，例如数据中心量化拥堵通知 (DCQCN)，而这反过来又要求配备大量经验丰富的网络工程师与管理员。虽然超大规模客户有能力实现以上要求，但并非所有企业客户都具备这样的实力。小规模企业的人力资源和财务预算会受到更多限制。
回顾聚合以太网环境的历史，要想理解其中所涉及的挑战数量，莫过于研究一下基于以太网的光纤通道 (FCoE)。五年前，众多分析师和行业专家断言 FCoE 将取代光纤通道在数据中心的地位。但由于大规模使用聚合以太网络的复杂性，这一预言最终没有成真。FCoE 仍然存在，但仅限于 HPE BladeSystem 或 HPE Synergy 等刀片类服务器的封闭环境，在这些环境中网络属性和规模都受到严格控制。此类单跳环境在每一个系统中仅有少量连接。
最后，我们来谈谈iWARP。这一协议的诞生晚于 RoCE，其优势在于能够运行在当今的标准 TCP/IP 网络中。该协议能够提供 5-15us 范围内的适配器延迟。这一延迟高于 RoCE 能够达到的数值，但较标准以太网适配器仍然降低了好几个数量级。
常言道，对于只有一把锤子的人来说，他遇见的每样东西看起来都像一颗钉子，对于推销启用了 RDMA 的适配器的供应商来说也是同样的道理。大多数供应商只支持一种协议，因此他们理所当然就会推荐这一种他们支持的协议。而在 Marvell，我们的独特之处在于，借助我们的通用 RDMA 技术，客户能够在同一个适配器上同时使用 RoCE 和 iWARP。这使得我们提出的建议更具可信度，这也意味着我们有效地做到了不对协议有任何偏见。从客户的立场来说这一点非常重要，这意味着我们专注于寻找最适合于客户应用标准的协议。
那么您究竟应该在什么样的场景下使用哪种 RDMA？这么说吧，如果延迟是您的首要标准，而可扩展性可以抛诸脑后，那么您应当选择 RoCE。您可以将 RoCE 部署成现代化磁盘阵列中的后端网络，介于控制器节点和 NVMe 驱动器之间；您也可以将 RoCE 部署在机架中或仅占有一台或两台架顶式交换机和子网的机架中。相对地，如果延迟只是关键要求之一，而易于使用和可扩展性也具有高优先级，那么 iWARP 就是最佳候选方案。该协议能够运行在现有的网络基础设施中，并且能够轻松在机架间扩展规模，甚至能够在数据中心间远距离部署。iWARP 的典型用例就是部署了 Microsoft Storage Spaces Direct 的网络连接方案。
好消息是对于企业客户而言，有多款 HPE 出品的 Marvell® FastLinQ® 以太网适配器支持通用 RDMA，因此企业客户能够自由选择最适合他们的低延迟 RDMA 方案。以下是目前同时支持 RoCE 和 iWARP RDMA 的 HPE 以太网适配器清单。
借助 HPE ProLiant、Apollo、HPE Synergy 和 HPE Cloudline 服务器中启用了 RDMA 的适配器，Marvell 打造出了一系列 10Gb 或 25GbE 数据中心连接解决方案产品组合。除了支持低延迟 RDMA 外，以上适配器还支持 NVMe。这意味着以上适配器能够适应于运行 RoCE 或 iWARP 的以太网光纤中的 NVMe，同时也支持基于 TCP 的 NVMe（即没有 RDMA），这为当今的数据中心在面对未来的工作负荷时提供了充分的选择。如欲了解以上及更多基于 HPE 的 Marvell I/O 技术的详细信息，请点击“阅读原文”进行访问。
