长序列中Transformers的高级注意力机制总结

在处理长序列时，Transformers面临着注意力分散和噪音增加等挑战。随着序列长度的增长，每个词元必须与更多词元竞争注意力得分，这会导致注意力分数被稀释。这种稀释可能导致不那么集中和相关的上下文表示，特别是影响彼此距离较远的词元。

并且较长的序列更有可能包含不相关或不太相关的信息，从而引入噪声，这也会进一步分散注意力机制，使其无法集中于输入的重要部分。

所以本文的重点是深入研究长序列种应用的高级注意力机制的数学复杂性和理论基础，这些机制可以有效地管理Transformer模型中的长序列所带来的计算和认知挑战。

 

https://avoid.overfit.cn/post/48358aed452448e881cb62006e9d0613