2024 年 7月 20 日随笔档案 - CASTWJ

2024年7月20日

摘要： Transformer：这个模型架构就是摒弃了所有的循环结构，完全依赖于注意力机制对源语言序列和目标语言序列全局依赖的建模对于循环神经网络来说，上下文的语义依赖是通过维护循环单元中的隐状态实现的。在编码过程中，每一个时间步的输入建模都涉及到对隐藏状态的修改。随着序列长度的增加，编码在隐藏状态中的序阅读全文

posted @ 2024-07-20 17:44 CASTWJ 阅读(53) 评论(0) 推荐(0) 编辑