184 注意力模型直觉

之前我们学的RNN尝试先把整个句子全部都记下来,然后在进行翻译,所以可能出现一个问题,就是我们的模型没能够记住句子,这就是导致我们的BLEU分数下降。但是注意力机制让我们像人类一样翻译,也就是先翻译一部分,再翻译一部分,他和前者的BLEU分数曲线如下
image
蓝色的是RNN,绿色的事注意力机制

posted @   最爱丁珰  阅读(3)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· 阿里巴巴 QwQ-32B真的超越了 DeepSeek R-1吗?
· 【译】Visual Studio 中新的强大生产力特性
· 10年+ .NET Coder 心语 ── 封装的思维:从隐藏、稳定开始理解其本质意义
· 【设计模式】告别冗长if-else语句:使用策略模式优化代码结构
历史上的今天:
2024-02-19 Sasha and the Wedding Binary Search Tree
2024-02-19 Sasha and the Casino
2024-02-19 Sasha and a Walk in the City
2024-02-19 CF思维题集合
2024-02-19 Sasha and the Drawing
2024-02-19 天气预报
2024-02-19 导弹防御系统
点击右上角即可分享
微信分享提示