2023年11月7日
注意力机制
摘要： 注意力机制的原理和实现 在Attention出来之前，以前人们使用RNN和CNN来获得语义信息，但是RNN需要逐步递归才可以获得全局的信息，而通过滑动窗口进行编码的CNN，更侧重于捕获局部信息，难以建模长距离的语义依赖。Attention可以使得每个词具有上下文的语义信息。 1、原理 Attenti 阅读全文
posted @ 2023-11-07 14:37 TW-NLP 阅读(89) 评论(0) 推荐(0) 编辑