B站-水论文的程序猿

2022年7月25日

摘要：博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文

posted @ 2022-07-25 19:51 B站-水论文的程序猿阅读(8894) 评论(0) 推荐(4) 编辑

02 Transformer 中 Add&Norm （残差和标准化）代码实现

摘要： python/pytorch 基础 https://www.cnblogs.com/nickchen121 培训机构（Django 类似于 Transformers）首先由一个 norm 函数 norm 里面做残差，会输入（ x 和淡粉色z1，残差值），输出一个值紫粉色的 z1 标准化 $$ y 阅读全文

posted @ 2022-07-25 19:50 B站-水论文的程序猿阅读(3855) 评论(0) 推荐(1) 编辑

2022年7月24日

1001 Attention 和 Self-Attention 的区别（还不能区分我就真的无能为力了）

摘要：通过 pytorch 去构建一个 transformer 的框架不是导包，不是调包侠注意力机制是一个很宽泛（宏大）的一个概念，QKV 相乘就是注意力，但是他没有规定 QKV是怎么来的通过一个查询变量 Q，去找到 V 里面比较重要的东西假设 K==V，然后 QK 相乘求相似度A，然后 AV 相阅读全文

posted @ 2022-07-24 10:42 B站-水论文的程序猿阅读(5156) 评论(0) 推荐(0) 编辑

2022年7月19日

013 Python 变量的内存管理（学点底层东西显得你异于常人）

摘要： #!/usr/bin/env python # -*- coding:utf-8 -*- # Datatime:2022/7/18 21:13 # Filename:011 Python约定俗称的常量.py # Toolby: PyCharm # 变量：变化的量，可以通过各种操作改变它 # 不变的量阅读全文

posted @ 2022-07-19 22:17 B站-水论文的程序猿阅读(390) 评论(0) 推荐(0) 编辑

012 Python约定俗称的常量

摘要： #!/usr/bin/env python # -*- coding:utf-8 -*- # Datatime:2022/7/18 21:13 # Filename:011 Python约定俗称的常量.py # Toolby: PyCharm # 变量：变化的量，可以通过各种操作改变它 # 不变的量阅读全文

posted @ 2022-07-19 22:16 B站-水论文的程序猿阅读(261) 评论(0) 推荐(0) 编辑

011 Python 的打印（花式变色打印）和注释（为什么加个#号就能注释）

摘要： #!/usr/bin/env python # -*- coding:utf-8 -*- # Datatime:2022/7/18 21:29 # Filename:011 Python 的打印和注释.py # Toolby: PyCharm # 打印：（打印机） a = 1 b = 2 print 阅读全文

posted @ 2022-07-19 22:15 B站-水论文的程序猿阅读(322) 评论(0) 推荐(0) 编辑

010 Python 重中之重的变量

摘要： #!/usr/bin/env python # -*- coding:utf-8 -*- # Datatime:2022/7/16 20:32 # Filename:010 Python 重中之重的变量.py # Toolby: PyCharm # 什么是变量 # 变量 == 变（变化） + 量（衡阅读全文

posted @ 2022-07-19 22:15 B站-水论文的程序猿阅读(444) 评论(0) 推荐(0) 编辑

2022年7月15日

009 Pycharm的使用（各种骚操作和快捷键）

摘要：博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看配套 github 链接：https://github.com/nickchen121/shui-water--paper 配套博客链接：ht 阅读全文

posted @ 2022-07-15 22:21 B站-水论文的程序猿阅读(621) 评论(0) 推荐(0) 编辑

2022年7月14日

008 Python、Anaconda、pip、Pycharm、Jupyter 的下载

摘要：下述所有软件的具体做法：https://www.cnblogs.com/nickchen121/p/10718112.html python 下载搜一下 python：https://www.python.org/ 下载，3.6+，最新版版本 3.+，基本上都是换汤不换药下一步下一步安装（Add 阅读全文

posted @ 2022-07-14 22:07 B站-水论文的程序猿阅读(567) 评论(0) 推荐(0) 编辑

2022年7月12日

19 Transformer 解码器的两个为什么（为什么做掩码、为什么用编码器-解码器注意力）

摘要：博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文

posted @ 2022-07-12 16:59 B站-水论文的程序猿阅读(4810) 评论(0) 推荐(0) 编辑

【B站：水论文的程序猿】

道阻且长，与君共勉

公告