FC-NVMe阅读摘要（一）

首字母缩写

IU　　　　　Information Unit

BLS　　　　Basic Link Service

ELS　　　　Extended Link Service

PLOGI　　　N_Port Login

PRLI　　 　  Process Login

FLOGI　　　Fabric Login

P_BSY　　   N_Port Busy

LS_ACC　　Link Service Accept reply frame

LS_RJT　　 Link Service Reject reply frame

定义

Data Series

　　数据序列。它是构成一个特定命令全部数据传输的NVMe数据信息单元们的集。【注：对应NVMe over Fabrics的SGL数据，这些IU中的数据们称为数据序列】

FLOGI

　　Fabric Login，扩展的链路服务。

LBA data

　　从NVMe设备上读或向NVMe设备上写的数据。【注：逻辑块地址数据】

metadata

　　关于特定LBA数据的上下文的信息。【元数据】

概况

结构与概念

FC是逻辑上的一个点对点串行数据通道。

支持NVMe over FC传输能力的Nx_Ports统称为NVMe_Ports。

FC-2层是一个交付服务，包含信息分组和定义的服务类。

 

NVMe over FC端口

作为NVM subsystem Port ID，是特定于NVM subsystem的，由NVM subsystem分配。如果多个NVM subsystem使用同一个端口，那么在多个NVM subsystem中使用的这同一个端口的NVM subsystem Port ID可能相同也可能不同。

NVMe over FC连接

NVMe over FC连接是对NVMe controller上抽象的一个SQ和CQ，这NVMe over FC连接可以是Admin队列也可以是一个I/O队列。

NVMe管理队列是在创建关联NVMe_LS请求时同时创建的。创建关联NVMe_LS请求指定了Admin提交队列的大小，也是Amin完成队列的大小。

NVMe的I/O队列也是由NVMe over Fabrics Connect命令创建。

First burst

在NVMe_XFER_RDY IU之前不能接收和处理NVMe_DATA IU。

按顺序交付和行为

4.7.1 概况

NVMe_Ports和Fabrics必须提供在一个Exchange中按顺序交付帧。

一些从initiator发的NVMe命令要求按顺序处理（例如fused操作）。为了容许这些命令按发送的顺序被处理，使用了Command Sequence Number。

对于NVMe应答，所有NVMe_ERSP信息单元应答被要求按它们发送的顺序来处理。为了容许NVMe_ERSP信息单元按顺序处理，也是用了Command Sequence Number。

没有顺序要求的NVMe应答信息单元，必须收到后尽快处理。对于应答，CQE必须按照第4.8.2章节中指定的那样生成。

4.7.2 命令序号（CSN）

命令序号是一个4字节无符号整数，从0开始，并且必须按照每个命令递增1。每个NVMe连接维护一个独立的递增计数器。计数达到最大表示值后绕回到0。以下是CSN的使用和判断规则：

a）CSN必须对每个NVMe连接的第一个NVMe命令信息单元从0开始计数，并按1递增；

b）CSN增长到最大数后绕回到0；

c）initiator的NVMe_Port不能在第一个命令提交完成前再使用相同的CSN发送：包括NVMe_XFER_RDY信息单元、NVMe_DATA信息单元的第一个数据帧、NVMe_RSP/NVMe_ERSP信息单元、ABTS。

d）target NVMe_Port必须使用CSN排序命令。

4.7.3 应答序号

4.11 数据传输

4.11.1 概况

NVMe over Fabrics指定了两种数据传输类型：

a）in-capsule数据

b）SGL数据

In-capsule数据是指数据传输在capsule里边。SGL数据时内存范围列表指定的数据。所有这两种数据传输对于NVMe over FC来说都必须转换成数据序列【Data Series】传输。为了在NVMe over FC上对应NVMe over Fabrics数据传输，指定了如下三种传输规则：

a）in-capsule数据；

b）关于写的SGL数据；

c）关于读的SGL数据。

4.11.2 in-capsule数据

in-capsule数据在数据序列中传输。对于数据和元数据，capsule包含指向数据序列偏移位置的指针。指针格式在NVMe中指定的。

3.11.3 SGL数据

4.11.3.1 概况

NVMe over Fabrics定义了在Fabric上传输SGL的机制，FC不能在Fabric上发送SGL（例如，需要RDMA机制支持），因此SGL必须转换成Data Series中的数据在FC网络上发送。

4.11.3.2 SGL映射

NVMe SGL是一个内存范围列表一边接收NVMe controller把它们聚集起来，为了能通过NVMe over FC传输：

a）写时，SGL指针指向的数据必须重新放置到Data Series中；

b）读时，必须让NVMe controller把数据重新放入Data Series中；

c）对于既读又写的情况，SQE中的SGL数据字段必须被重新放置。

 

4.11.3.3 SGL entry格式

为了在SQE中传输SGL，应该：

a）SGL Descriptor Type字段必须设置为0；

b）SGL Descriptor SubType字段必须设置为0；

c）SGL Data Blocak描述符的Address字段必须设置为0；

d）SGL Data Block描述的Length字段必须包含Data Series中数据的长度。

4.12 NVMe over FC功能的Discovery

一些NVMe over FC功能要求target端NVMe_Port和initiator端NVMe_Port达成共识写上一致的使用。下边Table 2提供了每个NVMe over FC功能的Discovery处理参考。

 

4.13 NVMe over FC的应用以及FC-FS-5和FC-LS-3行为

 

 

附录 C  NVMe over FC初始化和设备发现

C.1 NVMe over FC设备发现步骤

C.1.1 发起端。。

以下步骤可以被发起端NVMe_Port用于发现交换网络拓扑中的NVMe over FC设备。

依赖于特定配置和管理需求，除了步骤1到3，其他任何步骤可以被省略或可以被本标准之外的动作执行。

1）执行Fabric Login；

2）使用Name Server登陆；

3）在Name Server上注册信息：

　　a）FC-4 类型对象（参见第7.2章节）；

　　b）FC-4特性对象（参见第7.3章节）。

4）向Fabric Controller注册State Change Notification（参见FC-LS-3）

5）向Name Server下发一个GID_FF查询，含带Domain_ID Scope和Area_ID Scope字段设置成0，FC-4 Feature Bits字段设置为0x04（即：支持Discovery Service），Type code字段设置为0x28（即：NVMe over FC）。这个查询获得一个支持NVMe over FC设备的Port ID列表，以及Discovery Service。

6）对于GID_FF在接受CT_IU中返回的支持Type 0x28和FC-4 Feature Bits为0x04所有N_Port ID的每个Port ID：

　　i）NVMe层启动一个与NVMe Discovery Service的会话：

　　　　1）发起端NVMe_Port确保有一个与FC target NVMe_Port的login。注意：如果initiator端NVMe_Port和target端NVMe_Port之间已经有了一个活动的login，那么一下步骤可以跳过：

　　　　　　i）发送PLOGI；

　　　　　　ii）发送PRLI，Type字段设置为0x28。

　　　　2）FC-NVMe层创建一个关联并初始化Admin Queue连接：

　　　　　　i）发送Create Association NVMe_LS到Discovery Service子系统。

　　　　3）NVMe层通过新创建的传输层Admin Queue连接下发NVMe Connect命令。Connect命令用于创建Admin Queue。

　　　　　　i）Connect命令作为写操作类型。

　　　　4）NVMe层可以通过Admin Queue连接请求更多的NVMe或Fabric命令去处理。其他命令可以是执行NVMe Fabrics认证或获取/设置属性配置新创建的NVMe controller。

　　　　　　i）命令为无数据，读或写操作类。

　　　　5）这个NVMe Discovery Service无IO队列被创建。

　　　　6）NVMe层下发Get Log Page命令，Log Id设置为0x70，从Discovery Service读取Discovery Log Entries。

　　　　　　i）命令为读操作类。

　　　　7）NVMe层确定不需要再与Discovery Service进一步交互就可以使用FC-NVMe终止服务。

　　　　　　i）发送NVMe_Disconnect LS到Discovery Service。在LS参数里表明终止关联。

　　　　　　ii）FC-NVMe target接收LS并生成LS应答。

　　　　　　iii）传输层关联和所有相关连接被终止。

　　　　　　iv）如果这是initiator NVMe_Port与target NVMe_Port之间仅有的最后一个关联，login可能被终止。

　　　　　　　　1）发送LOGO到FC-NVMe target。

7）向Name Server下发一个GID_FF查询，含带Domain_ID Scope和Area_ID Scope字段设置成0，FC-4 Feature Bits字段设置为0x01（即：支持的NVMe over FC target功能），Type code字段设置为0x28（即：NVMe over FC）。这个查询获得一个支持NVMe over FC协议设备的Port ID列表，以及支持的NVMe over Fabrics Target Port Function；

8）操作期间，如果NVMe层选择与一个在Discovery Log记录中认定的某个NVMe存储子系统通信，NVMe层使用FC-NVMe层与NVMe subsystem建立会话；

　　i）

9）