摘要:
https://github.com/Mellanox/crc32_offload_api_example Makefile CC ?= gcc LDFLAGS += -libverbs TARGETS = ibv_crc32_example all: $(TARGETS) ibv_crc32_ex 阅读全文
摘要:
https://docs.mellanox.com/display/RDMAAwareProgrammingv17/Programming+Examples+Using+IBV+Verbs On This Page Synopsis for RDMA_RC Example Using IBV Ver 阅读全文
摘要:
https://zhuanlan.zhihu.com/p/361740115 阅读本文前建议温习“RDMA概述”一文,了解下RDMA领域的基本概念。 我已经在基本概念篇里面跟大家对本领域的基本知识进行了科普,在对于基本的宏观概念有了认识之后,我们就可以开始更深入的研究RDMA的实现细节了。协议本身比 阅读全文
摘要:
https://zhuanlan.zhihu.com/p/353590347 我们在Memory Region一文中介绍过Memory Region,它是一片由用户注册的特殊的内存区域:一方面其中的内容不会被换页到硬盘中,另一方面RDMA网卡中记录了它的地址转换关系,使得硬件拿到用户指定在WR中的虚 阅读全文
摘要:
https://zhuanlan.zhihu.com/p/346708569 在“RDMA之Verbs”一文中我一文中我们说道,Verbs API分为用户态和内核态,分别以ibv_和ib_作为前缀。RDMA技术的最大的优势就在于用户态可以绕过内核,直接控制硬件收发数据,减少了系统调用和内存拷贝次数, 阅读全文
摘要:
https://zhuanlan.zhihu.com/p/329198771 (最近正好要在公司讲一下Verbs,所以先更这篇,Memory Window晚一点再更。再次吐槽一下知乎对Markdown的支持实在是太垃圾了……有时间会重新排版) Verbs直译过来是“动词”的意思,它在RDMA领域中有 阅读全文
摘要:
https://zhuanlan.zhihu.com/p/279904125 我们曾在【3. 基本元素】中简单介绍了SRQ的概念,本文将带大家了解更多关于SRQ的细节。 基本概念 什么是SRQ 全称为Shared Receive Queue,直译为共享接收队列。我们知道,RDMA通信的基本单位是QP 阅读全文
摘要:
https://zhuanlan.zhihu.com/p/259650980 知乎对Markdown的支持不太完整,这篇文章又比较长,所以格式上看起来可能有一点乱,还请包涵。本文欢迎转载,转载请注明出处。 我们曾经在前面的文章中简单介绍过CQ,本文将更深入的讲解关于它的一些细节。阅读本文前,读者可以 阅读全文
摘要:
https://zhuanlan.zhihu.com/p/195757767 Queue Pair 我们曾经在3. RDMA基本元素一文中简单的介绍了QP的概念,本文将更深入的讲解一些关于QP的细节。 基本概念回顾 首先我们来简单回顾下关于QP的基础知识: 根据IB协议中的描述,QP是硬件和软件之间 阅读全文
摘要:
https://zhuanlan.zhihu.com/p/163552044 前面已经介绍过,RDMA通信的基本单元是QP。我们来思考一个问题,假设A节点的某个QP要跟B节点的某个QP交换信息,除了要知道B节点的QP序号——QPN之外,还需要什么信息?要知道,QPN是每个节点独立维护的序号,不是整个 阅读全文
摘要:
https://zhuanlan.zhihu.com/p/159493100 前文我们简单介绍了RDMA中最常见的一些资源,包括各种Queue,以及MR的概念等等。MR用于控制和管理HCA对于本端和远端内存的访问权限,确保HCA只有拿到正确Key之后才能读写用户已经注册了的内存区域。为了更好的保障安 阅读全文
摘要:
https://zhuanlan.zhihu.com/p/156975042 我们假设一种场景,同时也顺便温习一下RDMA WRITE操作的流程: 如下图所示,A节点想要通过IB协议向B节点的内存中写入一段数据,上层应用给本节点的RDMA网卡下发了一个WQE,WQE中包含了源内存地址、目的内存地址、 阅读全文
摘要:
https://zhuanlan.zhihu.com/p/144099636 我们在“3. RDMA基本元素”一文中提到过,RDMA的基本通信单元是QP,而基于QP的通信模型有很多种,我们在RDMA领域称其为“服务类型”。IB协议中通过“可靠”和“连接”两个维度来描述一种服务类型。 可靠 通信中的可 阅读全文