导航

2023年2月26日

注意力机制

摘要： 在Encoder-Decoder模型框架我们提到： 不论输入和输出的语句长度是什么，中间的上下文向量长度都是固定的。 一旦长度过长，仅仅靠一个固定长度的上下文向量解码，会有信息瓶颈，可能会丢失信息的问题。 解决方法就是注意力机制。 在了解注意力机制之前，先请看《圣母与圣吉凡尼诺》这幅由佛罗伦萨画家多 阅读全文

posted @ 2023-02-26 20:02 蝈蝈俊 阅读(226) 评论(0) 推荐(0) 编辑