会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
LeonYi
首页
归档
新随笔
博客管理
LeonYi
仰望星空,脚踏实地
博客园
首页
新随笔
联系
订阅
管理
2023年10月24日
【大语言模型基础】Transformer模型Torch代码详解和训练实战
摘要:
一、Transformer概述 Transformer是由谷歌在17年提出并应用于神经机器翻译的seq2seq模型,其结构完全通过自注意力机制完成对源语言序列和目标语言序列的全局依赖建模。 Transformer由编码器和解码器构成。下图展示了它的结构,其左侧和右侧分别对应着编码器(Encoder)
阅读全文
posted @ 2023-10-24 23:53 LeonYi
阅读(1147)
评论(0)
推荐(3)
编辑
公告