10.6.2 比较卷积神经网络、循环神经网络和自注意力

CNN怎么做序列？实际上之前已经接触过了，就是把序列当成没有高只有宽的图片而已
将书上讲的复杂度汇总如下

• CNN
  • 计算复杂度：进行一次卷积计算，由于卷积层大小为$k$，输入有$d$个通道，所以复杂度为$O(kd)$；由于序列长为$n$，所以计算完输出的一个通道的时间复杂度为$O(kdn)$；由于输出有$d$个通道，所以时间复杂度为$O(kn{d}^2)$
  • 并行度：卷积核在不同空间位置（如序列中的不同时间步或图像中的不同区域）的计算是独立的，可同时进行。例如，对于一个长度为$n$的序列，每个位置的卷积操作可以并行处理，因此并行度与序列长度$n$成正比。
  • “最长路径”指的是信息从输入到输出所需经过的最大计算步骤数（也就是信息传递所经过的长度）。对于CNN来说，初始序列的长度为$n$，每次大小减少$k$，所以最长路径为$O(n/k)$。其实也就是感受野
• RNN
  • 最长路径：第一个词元的信息传递到序列尾部的复杂度当然是$O(n)$。提一嘴，像RNN这种时序性很强的模型，记忆时间信息是很强大的，所以需要记忆时间信息的话就可以选择RNN

虽然书上说序列很长的时候自注意力计算会非常慢，但实际上我们可以用很多很多个GPU，所以计算还是很快的；而且自注意力不太会出现RNN之类的问题，所以可以在自注意力上训练长序列