2022年7月25日
000 通过 Pytorch 实现 Transformer 框架完整代码（带注释）
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-25 19:53 B站-水论文的程序猿 阅读(14054) 评论(2) 推荐(5) 编辑
00 通过 Pytorch 实现 Transformer 框架完整代码
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-25 19:51 B站-水论文的程序猿 阅读(7840) 评论(0) 推荐(4) 编辑
02 Transformer 中 Add&Norm （残差和标准化）代码实现
摘要： python/pytorch 基础 https://www.cnblogs.com/nickchen121 培训机构（Django 类似于 Transformers） 首先由一个 norm 函数 norm 里面做残差，会输入（ x 和 淡粉色z1，残差值），输出一个值紫粉色的 z1 标准化 $$ y 阅读全文
posted @ 2022-07-25 19:50 B站-水论文的程序猿 阅读(3447) 评论(0) 推荐(1) 编辑