一维卷积

torch.nn.Conv1d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True)

主要参数说明:

  • in_channels:在文本应用中,即为词向量的维度
  • out_channels:卷积产生的通道数,有多少个out_channels,就需要多少个一维卷积(也就是卷积核的数量)
  • kernel_size:卷积核的尺寸;卷积核的第二个维度由in_channels决定,所以实际上卷积核的大小为kernel_size * in_channels
  • stride:默认为1,表示卷积核每次的跨步长度
  • padding:对输入的每一条边,补充0的层数
  • group:将输入数据按卷积维度切分为多个组,在每一个组中完成卷积操作后拼接起来,这里默认分组为

实验说明:

假设现在对一个批量为32,最大长度为64的句子进行卷积

conv1 = nn.Conv1d(in_channels=256, out_channels=256, kernel_size=2,group=256)
input = torch.randn(32, 64, 256)
input = input.permute(0, 2, 1)
output = conv1(input)

输入通道是根据输入数据针对每个字编码的维度,输出通道表示我们期望得到的每个字的维度。

对输入数据进行转置(permute)操作的原因是:一维卷积只能在输入数据的一个维度上滑动卷积核进行卷积操作,而输入通道是针对输入数据的第二个维度设定的,所以需要先进行转置,将输入通道维度放到第二个维度才能进行操作。

在这里group=256:表示将[256,64]的数据切分为256份,也就是每一份表示一个字的信息,而在卷积过程中,字与字之间不进行交互。

这样根据输入最大长度为64,卷积核为2,可以得到输出的形状为(32,256,64-2+1),然后需要再一次转置才能得到合适的形状

posted @ 2022-09-17 17:21  Uriel-w  阅读(450)  评论(0编辑  收藏  举报