nn.Transformer Layers

nn.TransformerEncoderLayer

https://pytorch.org/docs/stable/generated/torch.nn.TransformerEncoder.html#torch.nn.TransformerEncoder

 

当使用这个层时，需要提供特定的输入数据。这些输入主要包括

1. 输入序列（src）: 这是主要的输入数据，通常是一个张量，其形状为 (S, N, E)：

   • S 是序列长度（即每个输入序列中的元素或词汇数量）（也可以是线性层的维度）。
   • N 是批次大小（即同时处理的序列数量）。
   • E 是特征数量（即每个元素的嵌入向量维度）。

2. 掩码（mask 或 src_key_padding_mask）: 这些是可选参数，用于改变注意力机制的行为。

   • 注意力掩码（mask）: 通常用于遮蔽（屏蔽）序列中的某些部分，使模型在自注意力计算时忽略这些部分。这对于避免信息泄露，特别是在解码器中非常重要。在编码器中，它也可以用于特定目的，比如实现特定形式的注意力。
   • 填充掩码（src_key_padding_mask）: 这个掩码用于指示哪些元素是填充元素，不应该被模型考虑。这对于处理长度不一的序列非常重要，因为它允许模型知道哪些部分是填充的，从而在自注意力计算中忽略这些部分。

使用 nn.TransformerEncoderLayer 时，你通常会首先将你的原始输入（比如文本数据）转换为嵌入向量，可能还会加上位置编码，然后将这些数据作为输入序列提供给 nn.TransformerEncoderLayer。如果需要，还会提供相应的掩码以处理序列中的特