循环IRNNv2Layer实现

循环IRNNv2Layer实现

 IRNNv2Layer实现循环层，例如循环神经网络（RNN），门控循环单元（GRU）和长期短期记忆（LSTM）。支持的类型为RNN，GRU和LSTM。它执行循环操作，该操作由几个众所周知的循环神经网络（RNN）“单元”之一定义。

层描述

该层接受输入序列 X，初始隐藏状态 H_0， 如果该单元格是长短期记忆（LSTM）单元格，则初始单元格状态 C_0， 并产生输出 y 代表通过计算得出的最终RNN“子层”的输出 t时间步长（请参见下文）。可选地，该层还可以产生输出 h_T 代表最终的隐藏状态，如果该单元格是LSTM单元格，则输出 c_T代表最终的细胞状态。

单元的操作定义为函数 G(x, h, c)。此功能需要向量输入x,h,and c， 并产生最多两个向量输出 ^ h “ 和 ç “，表示执行单元操作后的隐藏状态和单元状态。

在默认（单向）配置中，RNNv2层适用 G如下图所示：

 

 

 G' 是G的变体。

进入方框的箭头是功能输入，而远离方框的箭头是功能输出。X = [x₀, x₁, …, x_T], Y = [y₀, y₁, …, y_T], H_i= [h_i,0, h_i,1, …, h_i,L], and C_i= [c_i,0, c_i,1, …, c_i,L]。

灰色 C 仅当RNN将LSTM单元用于 G 和 G'。

注意：以上结构有L "sub-layers" (horizontal rows of G)，以及矩阵matrices H_i and C_i have dimensionality L。

可选地，序列长度 t可以被指定为RNNv2层的输入，从而允许客户端指定一批具有不同长度的输入序列。

双向RNN （BiRNN）：可以将RNN配置为双向。在这种情况下，每个子层都由一个“前向”层和“向后”层组成。前向层迭代地适用G 使用 The forward layer iteratively applies G using x_i from0to T，然后向后层迭代地应用 applies G using x_i from T to0，如下图所示：

 

上图中的黑条表示串联。完全隐藏状态 h_t 由前向隐藏状态的串联定义 h_tf 和向后隐藏状态 h_tb：

• h_t,i = [ h_tf,i ,h_tb,i]
• h_t= [ h_t,0,, h_t,1, …,h_t,L]。

类似地，对于单元状态（未示出）。每ht,i，用作下一个子层的输入，如上所示。

RNN算子： RNNv2层支持以下单元操作：

• ReLU: G(x, h, c) := max(W_ix + R_ih + W_b + R_b, 0) (c not used)
• tanh: G(x, h, c) := tanh(W_ix + R_ih + W_b + R_b) (c not used)
• GRU:
• Z := sigmoid(W_zx + R_zh + W_bz + R_bz)
• M := sigmoid(W_rx + R_rh + W_br + R_br)
• G(x, h, c) := tanh(W_hx + M(h + R_bh) + W_bh) (c not used)
• LSTM:
• I := sigmoid(W_Ix + R_Ih + W_bi + R_bi)
• F := sigmoid(W_fx + R_fh + W_bf + R_bf)
• O := sigmoid(W_ox + R_oh + W_bo + R_bo)
• C := tanh(W_Cx + R_Ch + W_bc + R_bc)
• C’ := F × C
• H := O x tanh(C’)
• G(x, h, c) := { H, C’ }

对于GRU和LSTM，我们指的是Z, M, I, F, etc. as "gates"等称为“门”。

在单向情况下， the W matrices is HxE for the first layer and HxH，对于后续图层（除非设置了跳越模式，请参见下文）。在双向情况下，the dimensionality of the W matrices is HxE for the first forward/backward layer, and Hx2H for subsequent layers用于后续图层。

维度the R matrices is always HxH. The biases W_bx and R_bx have dimensionality H。

跳越模式： RNNv2使用的默认模式是“线性模式”。在此模式下，RNNv2层的第一子层使用该单元G’(x, h, c)，它接受一个大小 e的向量 X  （嵌入尺寸）和向量 H 和 C 大小 H（隐藏状态大小），并由单元格算子公式定义。后续层使用单元G（x， h，c），其中 X， H和 C 都是大小的向量 h， 并且还由单元格算子公式定义。

可选地，可以将RNN配置为以“跳越模式”运行，这意味着第一层的输入权重矩阵是隐式的单元矩阵，并且 X 预期是大小 H。

条件与限制

数据 （X）输入和初始隐藏/单元格状态（高₀ 和 C ₀张量至少具有2个非批量尺寸。其它尺寸被认为是批次尺寸。

可选的序列长度输入 T is0-dimensional (scalar)尺寸（标量）（不包括批次尺寸）。

数据 （y）输出和最终的隐藏/单元状态（H_T and C_T张量至少具有2个非批量尺寸。其他尺寸被认为是批次尺寸。如果提供了序列长度输入，则将批次中的每个输出填充到最大序列长度T_max。

 IRNNv2Layer 支持：

• FP32和FP16数据类型用于输入和输出，隐藏和单元张量。
• INT32数据类型仅用于序列长度张量。

定义网络后，可以标记所需的输出。未标记为网络输出或不用作另一层输入的RNNv2输出张量将被丢弃。

network->markOutput(*pred->getOutput(1));

pred->getOutput(1)->setType(DataType::kINT32);

rnn->getOutput(1)->setName(HIDDEN_OUT_BLOB_NAME);

network->markOutput(*rnn->getOutput(1));

if (rnn->getOperation() == RNNOperation::kLSTM)

{

rnn->getOutput(2)->setName(CELL_OUT_BLOB_NAME);

network->markOutput(*rnn->getOutput(2));

};

参阅C ++类 IRNNv2Layer或Python类 IRNNv2Layer 有关更多详细信息。