随笔分类 -  pytorch

摘要:一、transformer的架构图 主要分为两大块,Encoders和Decoders,两块分别由6个Encoder和Decoder组成。其实Encoders的功能就是抽取特征的,抽取出来的特征就交给Decoders,Decoders用Encoders抽取到的特征去做具体的任务,类比到常见的机器学习 阅读全文
posted @ 2022-06-14 21:07 光彩照人 阅读(1884) 评论(0) 推荐(0) 编辑
摘要:一、什么是图灵机? 图灵机(Turing machine),是艾伦・麦席森・图灵(1912-1954年)于1936年提出的一种抽象的计算模型,即将人们使用纸笔进行数学运算的过程进行抽象,由一个虚拟的机器替代人类进行复杂的数学运算。它有一条无限长的纸带,纸带分成了一个一个的小方格,每个方格有不同的颜色 阅读全文
posted @ 2022-05-28 08:21 光彩照人 阅读(2597) 评论(0) 推荐(0) 编辑
摘要:https://www.jianshu.com/p/1cd6333128a1 讲的比较清楚 https://blog.csdn.net/weixin_39646018/article/details/110415180 阅读全文
posted @ 2022-05-19 19:43 光彩照人 阅读(51) 评论(0) 推荐(0) 编辑
摘要:一、简单的求导 此时的x,y是自变量,如果需要对该自变量反向传播求导,必须在定义的时候,加上requires_grad=True z是结果,是一个标量,即只有一个元素,可以正常反向传播求导。 如果要查看对哪个自变量的求导值,直接该自变量调用.grad就可以获取到z对该自变量的求导值。 二、特殊情况求 阅读全文
posted @ 2022-05-18 19:12 光彩照人 阅读(225) 评论(0) 推荐(0) 编辑
摘要:一、torch.cat torch的拼接函数,将2个tensor拼接起来 按列拼接 A=torch.ones(2,3) B=2*torch.ones(4,3) A B C=torch.cat((A,B),0)#0表示按行拼接,即一行行拼上,就是直接上下堆接 C Atensor([[1., 1., 1 阅读全文
posted @ 2021-04-22 14:58 光彩照人 阅读(158) 评论(0) 推荐(0) 编辑
摘要:一、torch.nn.Linear torch.nn.Linear(in_features,out_features,bias=True) nn.linear()是用来设置网络中的全连接层的,也可以说是线性映射,这里面没有激活函数。而在全连接层中的输入与输出都是二维张量,输入输出的形状为[batch 阅读全文
posted @ 2021-04-21 15:40 光彩照人 阅读(956) 评论(0) 推荐(0) 编辑
摘要:nn.ModuleDict 是nn.module的容器,用于包装一组网络层,以索引方式调用网络层。主要方法: clear(): 清空ModuleDictitems(): 返回可迭代的键值对(key-value pairs)keys(): 返回字典的键(key)values(): 返回字典的值(val 阅读全文
posted @ 2021-04-18 21:29 光彩照人 阅读(1885) 评论(0) 推荐(0) 编辑
摘要:一、设计哲学 pytorch-lightning 是建立在pytorch之上的高层次模型接口。 pytorch-lightning 之于 pytorch,就如同keras之于 tensorflow。 通过使用 pytorch-lightning,用户无需编写自定义训练循环就可以非常简洁地在CPU、单 阅读全文
posted @ 2021-02-19 17:26 光彩照人 阅读(933) 评论(0) 推荐(0) 编辑
摘要:一、自定义神经网络 import torch import tqdm class TwoLayerNet(torch.nn.Module): def __init__(self, D_in, H, D_out): """ 在构造函数中,我们实例化了两个nn.Linear模块,并将它们作为成员变量。 阅读全文
posted @ 2021-02-03 17:19 光彩照人 阅读(1038) 评论(0) 推荐(0) 编辑
摘要:一、torch.nn.Embedding 模块可以看做一个字典,字典中每个索引对应一个词和词的embedding形式。利用这个模块,可以给词做embedding的初始化操作 torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=N 阅读全文
posted @ 2021-01-31 18:31 光彩照人 阅读(510) 评论(0) 推荐(0) 编辑
摘要:torch.utils.data.Dataset与torch.utils.data.DataLoader的理解 pytorch提供了一个数据读取的方法,其由两个类构成:torch.utils.data.Dataset和DataLoader 我们要自定义自己数据读取的方法,就需要继承torch.uti 阅读全文
posted @ 2021-01-31 10:40 光彩照人 阅读(416) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示