系列解读 SMC-R (二)：融合 TCP 与 RDMA 的 SMC-R 通信 | 龙蜥技术
一、引言
通过上一篇文章 《
本篇文章作为 SMC-R 系列的第二篇，将聚焦一次完整的 SMC-R 通信流程。通过具体的建连、传输、销毁过程，使读者进一步体会到 SMC-R 是一个融合了通用 TCP 与高性能 RDMA 的 "hybrid" 解决方案。
二、通信流程
如前篇所述，使用 SMC-R 协议有两种方法。其一，是在应用程序中显式创建 AF_SMC 族的 socket；其二，是利用 LD_PRELOAD 或 ULP + eBPF 的方式透明的将应用程序中的 AF_INET 族 socket 替换为 AF_SMC 族 socket。我们默认使用 SMC-R 通信的节点已经加载了 SMC 内核模块，并通过上述方式将应用程序运行在 SMC-R 协议上。接下来，我们以 first contact (通信两端建立首个连接) 场景为例，介绍 SMC-R 通信流程。
2.1 确认对端能力
使用 SMC-R 通信时，我们首先需要确认对端是否同样支持 SMC-R 协议。因此，SMC-R 协议栈为应用程序创建 SMC 类型 socket (smc socket) 的同时，还会在内核创建并维护一个与之关联的 TCP 类型 socket (clcsock)，并基于 clcsock 与对端建立起 TCP 连接。
2.2 协议回退
若在上述 TCP 握手过程中，通信两端其一表示无法支持 SMC-R，则进入协议回退 (fallback) 流程。
协议回退时，应用程序所持有的 fd 对应的 smc socket 将被替换为 clcsock。从此，应用程序将使用 TCP 协议通信，从而确保数据传输不会因为协议兼容问题而中断。
需要注意的是，协议回退仅发生在通信协商过程中，如前文提到的 TCP 握手阶段，或是下文提到的 SMC-R 建连阶段。为便于跟踪诊断，SMC-R 协议详细分类了潜在的回退可能，用户可以通过用户态工具 smc-tools 观测到协议回退事件及原因。
2.3 建立 SMC-R 连接
若在 TCP 握手中，两端均表示支持 SMC-R，则进入 SMC-R 建连流程。SMC-R 连接的建立依赖 TCP 连接传递控制消息，这种控制消息被称为 Connection Layer Control (CLC) 消息。
2.3.1 创建 RDMA 资源
SMC-R 建连初期，两端根据应用程序传递的 IP 地址在本地寻找可用 (如相同 Pnet ID) 的 RDMA 设备，并基于找到的设备创建必要的 RDMA 资源，包括 Queue Pair (QP)，Completion Queue (CQ)，Memory Region (MR)，Protect Domain (PD) 等等。
其中，QP 与 CQ 是 RDMA 通信的基础，提供了一套 RDMA 使用者 (如 SMC 内核协议栈) 与 RDMA 设备 (RNIC) 之间的异步通信机制。
QP 本质是存放工作任务 (Work Request, WR) 的工作队列 (Work Queue, WQ)。负责发送任务的 WQ 称为 Send Queue (SQ)，负责接收任务的 WQ 称为 Receive Queue (RQ)，两者总是成对出现，称为 QP。用户将希望 RNIC 完成的任务打包为工作队列元素 (Work Queue Element, WQE)，post 到 QP 中。RNIC 从 QP 中取出 WQE，完成 WQE 中定义的工作。
CQ 本质是存放工作完成信息 (Work Completion, WC) 的队列。RNIC 完成 WR 后，将完成信息打包为完成队列元素 (Completion Queue Element, CQE) 放入 CQ 中。用户从 CQ 中 poll 出 CQE，获悉 RNIC 已经完成某个 WR。
通信两端将已创建的 RDMA 资源通过 CLC 消息同步到对端，进而在两端之间建立起基于 RC (Reliable Connection) QP 的 RDMA 链路。SMC-R 中将这种点对点逻辑上的 RDMA 链路称为 SMC-R Link。一条 SMC-R Link 承载着多条 SMC-R 连接的数据流量。
同一个 Link Group 中，所有的 Link 互相“平等”。这个“平等”体现在同一 Link Group 中的 Link 具备访问 Group 中所有 SMC-R 连接收发缓冲区 (下文提到的 sndbuf 与 RMB) 的权限，具备承载任意 SMC-R 连接数据流的能力。因此，当某一 Link 失效时 (如 RNIC down)，关联此 Link 的所有连接可以迁移到同 Link Group 的另一条 Link 上。这使得 SMC-R 通信稳定可靠，具备一定的容灾能力。
SMC-R 中，Link (Group) 在 first contact 时创建，在最后一条 SMC-R 连接断开一段时间 (Linux 实现中为 10 mins) 后销毁，具备比连接更长的生命周期。First contact 之后创建的 SMC-R 连接都将尝试复用已有的 Link (Group)。这样的设计充分利用了已有的 RDMA 资源，避免了频繁创建与销毁带来的额外开销。
2.3.3 申请 RDMA 内存
SMC-R 协议栈为每条 SMC-R 连接分配了独属的收发缓冲区：sndbuf (发送缓冲区) 与 RMB (接收缓冲区，Remote Memory Buffer)。这是两片地址连续，长度在 16 KB ~ 512 KB 间的内核态 ring buffer。
注册 RDMA 内存的过程称为 Memory Registration，主要完成以下操作：
- 生成地址翻译表
RDMA 使用者 (如本地/远程 SMC-R 协议栈) 通常使用虚拟地址 (VA) 描述内存，而 RNIC 则通过物理地址 (PA) 寻址。RNIC 从 WQE 或数据包中取得数据 VA 后通过查表得到 PA，进而访问正确内存空间。因此 Memory Registration 首要任务就是形成目标内存的地址翻译表。
- Pin 住内存
现代 OS 会置换暂不使用的内存数据，这将导致地址翻译表中的映射关系失效。因此，Memory Registration 会将目标内存 pin 住，锁定 VA-to-PA 映射关系。
- 限制内存访问权限
为避免内存非法访问，Memory Registration 会为目标内存生成两把内存密钥：Local Key (l_key) 和 Remote Key (r_key)。内存密钥实质是一串序列，本地或远端凭借 l_key 或 r_key 访问 RDMA 内存，确保内存访问合法。
SMC-R 中，远程节点访问本地 RMB 所需的 addr 与 r_key 被封装为远程访问令牌 (Remote Token, rtoken)，通过 CLC 消息传递到远端，使其具备远程访问本地 RMB 的权限。
SMC-R 连接销毁后，对应的 sndbuf 与 RMB 将被回收到 Link Group 维护的内存池中，供后续新连接复用，以此减小 RDMA 内存创建/销毁对建连性能的影响。
2.4 验证 SMC-R Link
由于 first contact 场景下新建立的 SMC-R Link 尚未经过验证，所以在正式使用 Link 传输应用数据前，通信两端会基于 Link 发送 Link Layer Control (LLC) 消息，用于检验 Link 是否可用。
LLC 消息的传输基于 RDMA 的 SEND 操作完成，与之相对的是后文提到的 RDMA WRITE 操作。
- 接收端 RDMA 使用者 (SMC-R 内核协议栈) 向本地 RQ 中 Post RWQE，RWQE 中记录了待接收数据的长度以及预留内存地址；
- 发送端 RDMA 使用者 (SMC-R 内核协议栈) 向本地 SQ 中 Post SWQE，SWQE 中记录了待发送数据长度和内存地址。发送端 RNIC 根据 SWQE 记录的信息取出相应长度的数据发送到对端；
- 接收端 RNIC 接收到数据后，取出 RQ 中的第一个 RWQE，依照其中记录的内存地址和长度存放数据；
通过在 Link 上收发 CONFIRM_LINK 类型的 LLC 消息，通信两端确认了新创建的 Link 具备 RDMA 通信的能力，可以用于传输 SMC-R 连接数据。
2.5 基于共享内存通信
通过上述重重步骤，first contact 场景下 SMC-R 建连工作终于结束。接下来，应用程序将通过已建立好的 SMC-R 连接传输数据。
- 前期准备阶段，接收端 RDMA 使用者 (SMC-R 内核协议栈) 将接收缓冲区注册为 RDMA 内存，将远程访问密钥 rkey 告知发送端，使其拥有直接访问接收端内存的权限，这个过程我们在前文介绍过。
- 发送端 RDMA 使用者 (SMC-R 内核协议栈) 向 SQ 中 post SWQE。与 SEND 不同的是，RDMA WRITE 的 SWQE 中不仅包含数据在本地的内存地址和长度，还包含数据即将存放在接收端的内存地址，以及访问接收端内存所需的 r_key。发送端 RNIC 根据 SWQE 中记录的信息将数据传输到接收端。
- 接收端 RNIC 核实数据包中的 r_key，将数据存放到指定内存地址中。此时的接收端 RDMA 使用者并不知道数据已经被写入内存。
由于 RDMA WRITE 操作不需要接收端 RDMA 使用者参与，因此非常适合大量数据的直接写入。不过，由于接收端并不知晓数据到来，发送端写入数据后需要通过 SEND 操作发送控制消息通知接收端。在 SMC-R 中，这种控制消息称为 Connection Data Control (CDC) 消息。CDC 消息中包含 RMB 相关控制信息用以同步数据读写。
（表/CDC 消息主要内容）
在系列文章的第一篇中我们提到，SMC-R 名称中的“共享内存”指的是接收端的 RMB。结合上述的 RDMA WRITE 操作与 CDC 消息，SMC-R 的共享内存通信流程可以总结为：
- 发送端的数据通过 socket 接口，由应用缓冲区拷贝至内核 sndbuf 中 (图中未画出 sndbuf)
- 协议栈通过 RDMA WRITE 单边操作将数据写入接收端 RMB 中
- 发送端通过 SEND 双边操作发送 CDC 消息告知接收端有新的数据到来
- 接收端从 RMB 中拷贝数据至应用缓冲区
- 接收端通过 SEND 双边操作发送 CDC 消息告知发送端 RMB 中部分数据已被使用
2.6 连接关闭与资源销毁
结束数据传输后，主动关闭方发起 SMC-R 连接关闭流程。与 TCP 相似，SMC-R 连接也存在半关闭/全关闭状态。断开的 SMC-R 连接与 Link (Group) 解绑，相关的 sndbuf 与 RMB 也将被回收到内存池中，等待复用。同时，与 SMC-R 连接关联的 TCP 连接也进入关闭流程，最终释放。
若 Link (Group) 中不再存在活跃的 SMC-R 连接，则等待一段时间后 (Linux 实现中为 10 mins) 进入Link (Group) 销毁流程。销毁 Link (Group) 将释放与之相关的所有 RDMA 资源，包括 QP、CQ、PD、MR、以及所有的 sndbuf 与 RMB。Link (Group) 销毁后，再次创建 SMC-R 连接则需要重新经历 first contact 流程。
三、总结
本篇作为 SMC-R 系列文章的第二篇，以 first contact 场景为例，介绍了完整的 SMC-R 通信流程。包括：通过 TCP 握手确认对端 SMC-R 能力；使用 TCP 连接传递 CLC 消息，交换 RDMA 资源、创建 RDMA 链路、建立 SMC-R 连接；通过 RDMA SEND 操作发送 LLC 消息验证 Link 可用；基于 Link 使用 RDMA WRITE 传输应用程序数据，并利用 CDC 消息同步 RMB 中数据变化；关闭 SMC-R、TCP 连接，销毁 RDMA 资源等一系列过程。
上述过程充分体现了 SMC-R 的 "hybrid" 特点。SMC-R 既利用了 TCP 的通用性 ，如通过 TCP 连接确认对端能力，建立 SMC-R 连接与 RDMA 链路；又利用了 RDMA 的高性能 ，如通过 Link 传输应用程序数据流量。正因为如此，SMC-R 能够在兼容现有 TCP/IP 生态系统关键功能的同时为 TCP 应用提供透明无感的网络性能提升。
