【】低延迟选择 RoCE 或 iWARP？

RoCE vs iWARP

（2017年，测试比较老，仅供参考）：

原文：https://www.mellanox.com/related-docs/whitepapers/WP_RoCE_vs_iWARP.pdf

翻译：https://zhuanlan.zhihu.com/p/374068044

iWARP：

TCP是基于连接的，所以它必须使用可靠的传输。

因此，iWARP只支持可靠的连接传输服务，这也意味着它不是一个适合多播的平台。 

RoCE提供多种传输服务，包括可靠连接、不可靠数据报等，并支持用户级多播功能。

低延迟选择 RoCE 或 iWARP？

作者：Todd Owens，Marvell 技术营销经理

原文：https://blogs.marvell.com/2019/04/roce-or-iwarp-for-low-latency/

mellonx 测试（2017年，比较老，仅供参考）：

原文：https://www.mellanox.com/related-docs/whitepapers/WP_RoCE_vs_iWARP.pdf

翻译：https://zhuanlan.zhihu.com/p/374068044

今天，RDMA主要用于高性能计算或云环境，以减少网络延迟。企业客户很快将需要 RDMA 提供的低延迟网络，以便他们可以处理各种不同的应用程序，例如 Oracle 和 SAP， Windows Storage Spaces Direct (S2D) 或 VMware vSAN 实施软件定义的存储。

 RDMA 可由三种不同的协议实现：RDMA over InfiniBand、RDMA over Converged Ethernet (RoCE) 和 RDMA over iWARP。

您如何选择正确的协议？

在企业领域，以太网是迄今为止最流行的传输技术。因此，我们可以忽略 InfiniBand 选项，因为它需要对 I/O 现有基础设施进行叉车式升级——因此对于绝大多数企业数据中心来说成本太高。所以，只剩下 RoCE 和 iWARP。两者都可以通过以太网提供低延迟连接。但哪个适合你？

让我们首先看看这两种协议之间的根本区别。 RoCE 是两者中最受欢迎的，并且已经被全球许多云超大规模客户使用。可以从包括 Marvell 在内的各种供应商处获得运行 RoCE 且支持 RDMA 的适配器（网卡）。

RoCE 在适配器上提供 1-5us 范围内的延迟，但需要无损以太网网络来实现低延迟操作。这意味着集成到网络中的以太网交换机必须支持数据中心桥接和优先流控制机制，以便保持无损流量。因此，它们很可能必须重新配置才能使用 RoCE。无损或融合以太网环境的挑战在于配置是一个复杂的过程，在现代企业环境中可扩展性非常有限。

现在大规模使用 RoCE 并非不可能，但这样做需要实施额外的流量拥塞控制机制，例如数据中心量化拥塞通知 (DCQCN)，而这又需要大型、经验丰富的网络工程师和管理员团队.尽管这对超大规模客户不是什么问题，但并非所有企业客户都可以这么说。他们的人力资源和财务预算可能更加有限。

回顾融合以太网环境的历史，只有通过融合以太网光纤通道 (FCoE) 才能了解所涉及挑战的规模。五年前，许多分析师和行业专家声称 FCoE 将取代数据中心的光纤通道。这根本没有发生，因为与大规模使用融合以太网网络相关的复杂性。 FCoE 仍然存在，但仅限于像 HPE BladeSystem 或 HPE Synergy 服务器这样的封闭环境中，在这些环境中，网络属性和规模受到严格控制。这些是单跳环境，每个系统中只有几个连接。

最后，我们来到 iWARP。这是在 RoCE 之后出现的，并且具有在当今标准 TCP/IP 网络上运行的优势。它在适配器上提供 10-15us 范围内的延迟。比通RoCE 的延迟要高，但仍比标准以太网适配器低几个数量级。

他们说，如果你只有一把锤子，那么一切看起来都像钉子。当供应商兜售其支持 RDMA 的适配器时，情况也是如此。大多数供应商只支持一种协议，所以他们当然会推荐这种协议。在 Marvell，我们的独特之处在于，凭借我们的 Universal RDMA 技术，客户可以在同一适配器上同时使用 RoCE 和 iWARP。这使我们在提出建议时更具可信度，并意味着我们实际上是协议不可知论者。从客户的角度来看，这真的很重要，因为这意味着我们会考虑什么最适合他们的应用标准。

那么您在什么时候使用哪种 RDMA 协议？

好吧，当延迟是首要标准并且可扩展性不是问题时，选择应该是 RoCE。

您将看到 RoCE 在现代磁盘阵列中作为后端网络实现，位于控制器节点和 NVMe 驱动器之间。您还会发现 RoCE 部署在机架内或只有一两个架顶式交换机和子网需要处理的地方。

相反，当延迟是关键要求，但易用性和可扩展性也是高优先级时，iWARP 是最佳选择。

它运行在现有的网络基础设施上，可以轻松地在机架之间甚至跨数据中心进行长距离扩展。 iWARP 的一个很好的例子是作为 Microsoft Storage Spaces Direct 实施的网络连接选项。

对于企业客户来说，好消息是 HPE 的多个 Marvell® FastLinQ® 以太网适配器支持通用 RDMA，因此他们可以以最适合他们的方式利用低延迟 RDMA。

以下是当前支持 RoCE 和 iWARP RDMA 的 HPE 以太网适配器列表。

 

借助适用于 HPE ProLiant、Apollo、HPE Synergy 和 HPE Cloudline 服务器的 RDMA 适配器，Marvell 拥有强大的数据中心 10Gb 或 25GbE 连接解决方​​案组合。除了支持低延迟 RDMA，这些适配器还支持 NVMe。这意味着它们可以适应运行 RoCE 或 iWARP 的以太网结构上的 NVMe，以及支持 TCP 上的 NVMe（没有 RDMA）。它们是当今数据中心适应未来工作负载的绝佳选择。

有关 HPE 的这些和其他 Marvell I/O 技术的更多信息，请访问 www.marvell.com/hpe。

如果您想与我们该领域的一位 I/O 专家交谈，您可以在此处找到联系信息。

此条目于 2019 年 4 月 29 日星期一下午 4:09 发表，并归档在公司新闻下。您可以通过 RSS 2.0 提要关注对此条目的任何回复。双方的意见和坪目前封闭。