10.6.1 自注意力

首先，RNN是逐个处理词元的，这个部分应该是指传统的RNN模型，比如LSTM或GRU，它们是按时间步依次处理输入序列的，每个时间步只处理一个词元，并且当前的输出依赖于前一个时间步的隐藏状态。所以它的处理是顺序的，不能同时处理后面的词元，必须一个接着一个来。这样做的好处是能够捕捉到序列中的时间依赖关系，比如语言中的语法结构或者上下文信息。不过这样顺序处理的方式可能会导致训练速度比较慢，尤其是当序列很长的时候，计算时间会随着序列长度线性增长。
而自注意力机制则是基于并行计算的，它放弃顺序操作这一点应该怎么理解呢？自注意力机制的核心思想是让每个词元都能够同时注意其他所有词元，而不是像RNN那样逐个处理。这样的话，不管序列有多长，都可以在一次操作中同时计算所有词元之间的关系。比如说，对于一个句子中的每个单词，自注意力机制可以一次性计算出它与其他所有单词的相互影响，这样在训练时可以更高效地利用计算资源，减少时间成本。
举个例子，比如处理一句话“我 爱 吃 苹果”，RNN会先处理“我”，然后拿着“我”的状态去处理“爱”，接着依次处理“吃”和“苹果”。而自注意力机制则会同时处理这四个词，每个词都会同时考虑其他三个词对自己的影响，所以它们的处理是并行的，不需要按顺序一步一步来。
不过，自注意力机制虽然在并行能力上更强，但它牺牲了顺序操作的特点，也就是说它不显式地保留序列的顺序信息。比如，对于序列中的每个词来说，虽然它能一次性关注到所有其他词，但顺序上的先后关系需要通过其他方式来编码，比如在Transformer模型中，会使用位置编码来为每个词元加入位置信息。而RNN因为逐个处理，天然就保留了词元的顺序。