07 2022 档案

016 Python 中的基本运算符
摘要：#!/usr/bin/env python # -*- coding:utf-8 -*- # Datatime:2022/7/28 15:01 # Filename:016 Python 中的基本运算符.py # Toolby: PyCharm # https://www.cnblogs.com/n 阅读全文
posted @ 2022-07-28 19:56 B站-水论文的程序猿 阅读(235) 评论(0) 推荐(0) 编辑
04 Transformer 中的位置编码的 Pytorch 实现
摘要：1：10 点赞 16：00 我爱你 你爱我 1401 class PositionalEncoding(nn.Module): def __init__(self, dim, dropout, max_len=5000): super(PositionalEncoding, self).__init 阅读全文
posted @ 2022-07-28 19:55 B站-水论文的程序猿 阅读(1932) 评论(0) 推荐(0) 编辑
03 Transformer 中的多头注意力（Multi-Head Attention）Pytorch代码实现
摘要：3：20 来个赞 24：43 弹幕，是否懂了 QKV 相乘（QKV 同源），QK 相乘得到相似度A，AV 相乘得到注意力值 Z 第一步实现一个自注意力机制 自注意力计算 def self_attention(query, key, value, dropout=None, mask=None): d 阅读全文
posted @ 2022-07-27 20:00 B站-水论文的程序猿 阅读(5864) 评论(0) 推荐(2) 编辑
014 Python 的数据类型（数字、字符串、列表、字典）
摘要：#!/usr/bin/env python # -*- coding:utf-8 -*- # Datatime:2022/7/24 20:31 # Filename:014 Python 的数据类型（数字、字符串、列表、字典）.py # Toolby: PyCharm # 定义变量就会开辟内存空间 阅读全文
posted @ 2022-07-26 20:38 B站-水论文的程序猿 阅读(290) 评论(0) 推荐(0) 编辑
015 Python 的输入输出和字符串格式化（终于可以和计算机交流了）
摘要：#!/usr/bin/env python # -*- coding:utf-8 -*- # Datatime:2022/7/26 20:11 # Filename:015 Python 的输入输出和字符串格式化（终于可以和计算机交流了）.py # Toolby: PyCharm # 00:12,需 阅读全文
posted @ 2022-07-26 20:38 B站-水论文的程序猿 阅读(199) 评论(0) 推荐(0) 编辑
0201 为什么 Pytorch 定义模型要有一个 init 和一个 forward，两者怎么区分
摘要：https://www.bilibili.com/video/BV1GB4y1H7hq?spm_id_from=333.999.0.0&vd_source=b1ce52b6eb3a9e6c2360a4b7172edf5a class LayerNorm(nn.Module): def __init_ 阅读全文
posted @ 2022-07-26 20:10 B站-水论文的程序猿 阅读(1614) 评论(0) 推荐(1) 编辑
000 通过 Pytorch 实现 Transformer 框架完整代码（带注释）
摘要：博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-25 19:53 B站-水论文的程序猿 阅读(16053) 评论(2) 推荐(6) 编辑
00 通过 Pytorch 实现 Transformer 框架完整代码
摘要：博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-25 19:51 B站-水论文的程序猿 阅读(9151) 评论(0) 推荐(4) 编辑
02 Transformer 中 Add&Norm （残差和标准化）代码实现
摘要：python/pytorch 基础 https://www.cnblogs.com/nickchen121 培训机构（Django 类似于 Transformers） 首先由一个 norm 函数 norm 里面做残差，会输入（ x 和 淡粉色z1，残差值），输出一个值紫粉色的 z1 标准化 $$ y 阅读全文
posted @ 2022-07-25 19:50 B站-水论文的程序猿 阅读(3972) 评论(0) 推荐(1) 编辑
1001 Attention 和 Self-Attention 的区别（还不能区分我就真的无能为力了）
摘要：通过 pytorch 去构建一个 transformer 的框架 不是导包，不是调包侠 注意力机制是一个很宽泛（宏大）的一个概念，QKV 相乘就是注意力，但是他没有规定 QKV是怎么来的 通过一个查询变量 Q，去找到 V 里面比较重要的东西 假设 K==V，然后 QK 相乘求相似度A，然后 AV 相 阅读全文
posted @ 2022-07-24 10:42 B站-水论文的程序猿 阅读(5290) 评论(0) 推荐(0) 编辑
013 Python 变量的内存管理（学点底层东西显得你异于常人）
摘要：#!/usr/bin/env python # -*- coding:utf-8 -*- # Datatime:2022/7/18 21:13 # Filename:011 Python约定俗称的常量.py # Toolby: PyCharm # 变量：变化的量，可以通过各种操作改变它 # 不变的量 阅读全文
posted @ 2022-07-19 22:17 B站-水论文的程序猿 阅读(394) 评论(0) 推荐(0) 编辑
012 Python约定俗称的常量
摘要：#!/usr/bin/env python # -*- coding:utf-8 -*- # Datatime:2022/7/18 21:13 # Filename:011 Python约定俗称的常量.py # Toolby: PyCharm # 变量：变化的量，可以通过各种操作改变它 # 不变的量 阅读全文
posted @ 2022-07-19 22:16 B站-水论文的程序猿 阅读(265) 评论(0) 推荐(0) 编辑
010 Python 重中之重的变量
摘要：#!/usr/bin/env python # -*- coding:utf-8 -*- # Datatime:2022/7/16 20:32 # Filename:010 Python 重中之重的变量.py # Toolby: PyCharm # 什么是变量 # 变量 == 变（变化） + 量（衡 阅读全文
posted @ 2022-07-19 22:15 B站-水论文的程序猿 阅读(458) 评论(0) 推荐(0) 编辑
011 Python 的打印（花式变色打印）和注释（为什么加个#号就能注释）
摘要：#!/usr/bin/env python # -*- coding:utf-8 -*- # Datatime:2022/7/18 21:29 # Filename:011 Python 的打印和注释.py # Toolby: PyCharm # 打印：（打印机） a = 1 b = 2 print 阅读全文
posted @ 2022-07-19 22:15 B站-水论文的程序猿 阅读(327) 评论(0) 推荐(0) 编辑
009 Pycharm的使用（各种骚操作和快捷键）
摘要：博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/shui-water--paper 配套博客链接：ht 阅读全文
posted @ 2022-07-15 22:21 B站-水论文的程序猿 阅读(634) 评论(0) 推荐(0) 编辑
008 Python、Anaconda、pip、Pycharm、Jupyter 的下载
摘要：下述所有软件的具体做法：https://www.cnblogs.com/nickchen121/p/10718112.html python 下载 搜一下 python：https://www.python.org/ 下载，3.6+，最新版版本 3.+，基本上都是换汤不换药 下一步下一步安装（Add 阅读全文
posted @ 2022-07-14 22:07 B站-水论文的程序猿 阅读(571) 评论(0) 推荐(0) 编辑
19 Transformer 解码器的两个为什么（为什么做掩码、为什么用编码器-解码器注意力）
摘要：博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:59 B站-水论文的程序猿 阅读(4948) 评论(0) 推荐(0) 编辑
17 Transformer 的解码器（Decoders）——我要生成一个又一个单词
摘要：博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:58 B站-水论文的程序猿 阅读(4587) 评论(0) 推荐(1) 编辑
18 Transformer 的动态流程
摘要：博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:58 B站-水论文的程序猿 阅读(2624) 评论(0) 推荐(0) 编辑
15 Transformer 框架概述
摘要：博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:57 B站-水论文的程序猿 阅读(6986) 评论(0) 推荐(0) 编辑
16 Transformer 的编码器（Encodes）——我在做更优秀的词向量
摘要：博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:57 B站-水论文的程序猿 阅读(4952) 评论(0) 推荐(0) 编辑
1401 位置编码公式详细理解补充
摘要：博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:56 B站-水论文的程序猿 阅读(2512) 评论(0) 推荐(1) 编辑
14 Positional Encoding （为什么 Self-Attention 需要位置编码）
摘要：博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:55 B站-水论文的程序猿 阅读(3767) 评论(0) 推荐(5) 编辑
13 Multi-Head Self-Attention（从空间角度解释为什么做多头）
摘要：博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:54 B站-水论文的程序猿 阅读(6051) 评论(0) 推荐(0) 编辑
12 Masked Self-Attention（掩码自注意力机制）
摘要：博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:53 B站-水论文的程序猿 阅读(6402) 评论(0) 推荐(0) 编辑
11 Self-Attention相比较 RNN和LSTM的优缺点
摘要：博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:53 B站-水论文的程序猿 阅读(4731) 评论(0) 推荐(2) 编辑
10 Self-Attention（自注意力机制）
摘要：博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:52 B站-水论文的程序猿 阅读(11435) 评论(1) 推荐(2) 编辑
08 ELMo模型（双向LSTM模型解决词向量多义问题）
摘要：博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:51 B站-水论文的程序猿 阅读(4127) 评论(1) 推荐(3) 编辑
09 什么是注意力机制（Attention ）
摘要：博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:51 B站-水论文的程序猿 阅读(13803) 评论(1) 推荐(6) 编辑
07 预训练语言模型的下游任务改造简介（如何使用词向量）
摘要：博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:50 B站-水论文的程序猿 阅读(2462) 评论(0) 推荐(0) 编辑
06 Word2Vec模型（第一个专门做词向量的模型，CBOW和Skip-gram）
摘要：博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:29 B站-水论文的程序猿 阅读(4659) 评论(0) 推荐(0) 编辑
04 统计语言模型（n元语言模型）
摘要：博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:28 B站-水论文的程序猿 阅读(3282) 评论(1) 推荐(1) 编辑
05 神经网络语言模型（独热编码+词向量的起源）
摘要：博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:28 B站-水论文的程序猿 阅读(4217) 评论(0) 推荐(0) 编辑
03 什么是预训练（Transformer 前奏）
摘要：博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:27 B站-水论文的程序猿 阅读(5201) 评论(0) 推荐(5) 编辑
00 预训练语言模型的前世今生（全文 24854 个词）
摘要：本文的主题是预训练语言模型的前世今生，会大致说下 NLP 中的预训练技术是一步一步如何发展到 Bert 模型的，从中可以很自然地看到 Bert 的思路是如何逐渐形成的，Bert 的历史沿革是什么，继承了什么，创新了什么，为什么效果那么好，主要原因是什么，以及为何说模型创新不算太大，为何说 Bert 是近年来 NLP 重大进展的集大成者。 预训练语言模型的发展并不是一蹴而就的，而是伴随着诸如词嵌入、序列到序列模型及 Attention 的发展而产生的。 阅读全文
posted @ 2022-07-12 16:26 B站-水论文的程序猿 阅读(62637) 评论(5) 推荐(28) 编辑
007 Python、Anaconda、pip、Pycharm、Jupyter都是啥？
摘要：博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/shui-water--paper 配套博客链接：ht 阅读全文
posted @ 2022-07-12 16:10 B站-水论文的程序猿 阅读(607) 评论(0) 推荐(1) 编辑
004 计算机五大组成（计算机组成原理）
摘要：博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/shui-water--paper 配套博客链接：ht 阅读全文
posted @ 2022-07-12 16:09 B站-水论文的程序猿 阅读(650) 评论(0) 推荐(0) 编辑
005 计算机操作系统（什么是文件和应用程序）
摘要：博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/shui-water--paper 配套博客链接：ht 阅读全文
posted @ 2022-07-12 16:09 B站-水论文的程序猿 阅读(433) 评论(0) 推荐(0) 编辑
006 编程语言分类（我总不能扣内存条用计算机吧）
摘要：博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/shui-water--paper 配套博客链接：ht 阅读全文
posted @ 2022-07-12 16:09 B站-水论文的程序猿 阅读(266) 评论(0) 推荐(0) 编辑
002 Typora 的使用（markdown 的使用）
摘要：博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/shui-water--paper 配套博客链接：ht 阅读全文
posted @ 2022-07-12 16:08 B站-水论文的程序猿 阅读(991) 评论(0) 推荐(1) 编辑
003 计算机基础之编程和编程语言
摘要：博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/shui-water--paper 配套博客链接：ht 阅读全文
posted @ 2022-07-12 16:08 B站-水论文的程序猿 阅读(446) 评论(0) 推荐(0) 编辑
001 （Python+水论文合集）为什么录这个合集，这个合集会讲哪些内容？
摘要：博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/shui-water--paper 配套博客链接：ht 阅读全文
posted @ 2022-07-12 16:07 B站-水论文的程序猿 阅读(1295) 评论(0) 推荐(2) 编辑
从Python到水一篇AI论文（核心 or Sci三区+）（目录）
摘要：这里没有繁复冗余的知识点，绕过我走过的弯路，踩着我摸出来的石头，一条道接着一条道，直达水出一篇论文…… 想从事 AI 开发、亦或者想读博，这个合集不是为你而准备，但也可以借鉴 这条路是从计算机基础-》Python-》数学基础知识-》机器学习-》 Sklearn-》深度学习-》Pytorch-》Transformer-》Huggingface-》看论文-》写论文（核心期刊 or Sci 三区+） 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/shui-water--paper 配套博客链接：https://www.cnblogs.com/nickchen121/p/16470443.html 阅读全文
posted @ 2022-07-12 16:05 B站-水论文的程序猿 阅读(16800) 评论(3) 推荐(2) 编辑