会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
guanzhineng
博客园
首页
新随笔
联系
订阅
管理
随笔 - 9
文章 - 1
评论 - 0
阅读 -
397
详细解释,一文真正搞懂Transformer,不再被误导
本文将剖析Transformer关于注意力机制的几个技术要点,包括encoder端的自注意力机制、decoder端的masked自注意力机制(训练阶段需要,推理阶段也需要)以及decoder端的交叉注意力机制等,而架构的其它部分将简单略过。搞清楚了这些技术要点,我们就能对Transformer的整体架构有一个清晰的认知,并为灵活地使用该模型打下基础。
合集 - 大模型技术与应用(8)
1.
仅需2步,轻松搭建功能强大的DeepSeek-R1代码助手
02-05
2.
一文学会基于LangChain开发大模型RAG知识问答应用
02-06
3.
AI模型界面,玩转Gradio:YOLO11视频推理交互页面搭建
02-06
4.
字节扣子平台:新的赚钱机会,已有营收过百万的个人用户!
02-06
5.
不写代码构建一个大模型智能客服
02-06
6.
详细解释,一文轻松搞懂Transformer PE位置编码
02-06
7.
详细解释,一文真正搞懂Transformer,不再被误导
02-06
8.
视觉Transformer,一文详解Vision Transformer(ViT)
02-06
文章已发布在首发平台,这里我就不复制粘贴啦~
首发平台链接
合集:
大模型技术与应用
标签:
Transformer
,
大模型
,
自注意力机制
好文要顶
关注我
收藏该文
微信分享
观智能
粉丝 -
0
关注 -
0
+加关注
0
0
升级成为会员
«
上一篇:
详细解释,一文轻松搞懂Transformer PE位置编码
»
下一篇:
视觉Transformer,一文详解Vision Transformer(ViT)
posted @
2025-02-06 11:43
观智能
阅读(
107
) 评论(
0
)
编辑
收藏
举报
刷新页面
返回顶部
登录后才能查看或发表评论,立即
登录
或者
逛逛
博客园首页
【推荐】还在用 ECharts 开发大屏?试试这款永久免费的开源 BI 工具!
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
相关博文:
·
视觉Transformer,一文详解Vision Transformer(ViT)
·
详细解释,一文轻松搞懂Transformer PE位置编码
·
Transformer学习
·
Transformer中的Encoder与Decoder
·
Transformer-Attention is all you need
阅读排行:
·
全程不用写代码,我用AI程序员写了一个飞机大战
·
MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
·
记一次.NET内存居高不下排查解决与启示
·
白话解读 Dapr 1.15:你的「微服务管家」又秀新绝活了
·
DeepSeek 开源周回顾「GitHub 热点速览」
公告
昵称:
观智能
园龄:
2年10个月
粉丝:
0
关注:
0
+加关注
<
2025年3月
>
日
一
二
三
四
五
六
23
24
25
26
27
28
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
1
2
3
4
5
搜索
常用链接
我的随笔
我的评论
我的参与
最新评论
我的标签
我的标签
大模型
(8)
Transformer
(3)
Ollama
(2)
DeepSeek
(2)
Agent
(2)
字节扣子
(2)
YOLO11
(1)
ViT
(1)
Ultralytics
(1)
RAG
(1)
更多
合集
大模型技术与应用(8)
随笔档案
2025年2月(9)
阅读排行榜
1. 详细解释,一文真正搞懂Transformer,不再被误导(106)
2. 仅需2步,轻松搭建功能强大的DeepSeek-R1代码助手(65)
3. 详细解释,一文轻松搞懂Transformer PE位置编码(37)
4. AI模型界面,玩转Gradio:YOLO11视频推理交互页面搭建(35)
5. 字节扣子平台:新的赚钱机会,已有营收过百万的个人用户!(21)
点击右上角即可分享
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 全程不用写代码,我用AI程序员写了一个飞机大战
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· 记一次.NET内存居高不下排查解决与启示
· 白话解读 Dapr 1.15:你的「微服务管家」又秀新绝活了
· DeepSeek 开源周回顾「GitHub 热点速览」