摘要：本篇文章的知识点顺序是按照 Transformer 的架构，从下往上，从 encoders 到 decoders 的顺序编写的，可能不利于新手的理解，但是非常全面，可以参考其他的文章一起阅读，效果更佳！ 一、Transformer引入 来源于机器翻译： Transformer 分为两个部分——编码器 阅读全文

摘要：RNN做机器翻译有它自身的弱点，Attention正是为了克服这个弱点而出现的。所以，要理解Attention，就要搞明白两件事： RNN在做机器翻译时有什么弱点 Attention是如何克服这个弱点的 本文试图从解答这两个问题的角度来理解Attention机制。 一、RNN做机器翻译的经典思路 e 阅读全文