随笔分类 - Pytorch
摘要：记录一个pytorch多卡训练遇到的bug 报错如下： RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.cuda.
阅读全文
摘要：[转载]pytorch cuda上tensor的定义 以及 减少cpu操作的方法 来源：https://blog.csdn.net/u013548568/article/details/84350638 cuda上tensor的定义 a = torch.ones(1000,1000,3).cuda(
阅读全文
摘要：[转载] Pytorch拓展进阶(二)：Pytorch结合C++以及Cuda拓展 来源：https://oldpan.me/archives/pytorch cuda c plus plus 最近在看的Pointnet2 pytorch实现版源码中有这样的一段: 看了才知道原来是c++代码 看了上面
阅读全文
摘要：pytorch使用自定义数据集 DataLoader是pytorch提供的，一般我们要写的是Dataset，也就是DataLoader中的一个参数，其基本框架是: 由此可见，需要暴露的API只有 和`__len__`,还有一个构造函数
阅读全文
摘要：[转载]pyhton中__pycache__文件夹的产生与作用 原文地址是:https://blog.csdn.net/yitiaodashu/article/details/79023987,建议去原文看，我这里只转载一个结论： 解释器的具体工作： 1、完成模块的加载和链接； 2、将源代码编译为P
阅读全文
摘要：Pytorch:module 'torch' has no attribute 'bool' 这个应该是有些版本的Pytorch会遇到这个问题，我用0.4.0版本测试发现torch.bool是有的，但是1.0.0确实没有了，我看了一篇文章: 来源：http://www.sohu.com/a/3327
阅读全文
摘要：[转载]PyTorch上的contiguous 来源：https://zhuanlan.zhihu.com/p/64551412 这篇文章写的非常好，我这里就不复制粘贴了，有兴趣的同学可以去看原文，我这里只摘录一些结论过来以便查询： PyTorch 提供了 、`contiguous` (形容词动用)
阅读全文
摘要：[转载]PyTorch中permute的用法 来源：https://blog.csdn.net/york1996/article/details/81876886 permute(dims) 将tensor的维度换位。 参数：参数是一系列的整数，代表原来张量的维度。比如三维就有0，1，2这些dime
阅读全文
摘要：Pytorch报错：cuda runtime error (59) : device side assert triggered at /pytorch/aten/src/THC/generic/THCTensorMath.cu:26 这种问题是网上比较常见的，一般的原因就是Label没有从0开始导
阅读全文
摘要：[转载]Pytorch详解NLLLoss和CrossEntropyLoss 来源：https://blog.csdn.net/qq_22210253/article/details/85229988 pytorch的官方文档写的也太简陋了吧…害我看了这么久… NLLLoss 在图片单标签分类时，输入
阅读全文
摘要：在Pytorch上使用稀疏矩阵 最近在写一个NLP的小项目，用到了Pytorch做神经网络模型。但是众所周知NLP的一个特点就是特征矩阵是稀疏矩阵，当时处理稀疏矩阵用的是scipy.sparse，现在要把它放到Pytorch中，还是费了一点周折的 首先，如何把python的二维数组(这里以train
阅读全文
摘要：Pytorch入门随手记 1. 什么是Pytorch? Pytorch是Torch到Python上的移植(Torch原本是用Lua语言编写的) 是一个动态的过程，数据和图是一起建立的。 2. tensor.dot(tensor1,tensor2)//tensor各个对应位置相乘再相加 3. prin
阅读全文
摘要：[转载]torch参数:torch.backends.cudnn.benchmark的意义 来源：https://zhuanlan.zhihu.com/p/73711222 完整版请看原文，这里只截取一部分结论性的东西： 设置 将会让程序在开始时花费一点额外时间，为整个网络的每个卷积层搜索最适合它的
阅读全文
摘要：[转载]clip gradient抑制梯度爆炸 来源：https://blog.csdn.net/u010814042/article/details/76154391 1.梯度爆炸的影响 在一个只有一个隐藏节点的网络中，损失函数和权值w偏置b构成error surface，其中有一堵墙，如下所示
阅读全文
摘要：Pytorch中的自编码(autoencoder) 本文资料来源：https://www.bilibili.com/video/av15997678/?p=25 什么是自编码 先压缩原数据、提取出最有代表性的信息。然后处理后再进行解压。减少处理压力 通过对比白色X和黑色X的区别(cost函数)，从而
阅读全文
摘要：[转载]机器学习优化方法总结：SGD，Momentum，AdaGrad，RMSProp，Adam https://blog.csdn.net/u010089444/article/details/76725843 这篇博客格式不好直接粘贴，就不附原文了。 有几个点可以注意下，原文没有写的很清楚： 1
阅读全文
摘要：Pytorch学习之源码理解：pytorch/examples/mnists
阅读全文
摘要：[转载] ReLU和BN层简析 来源：https://blog.csdn.net/huang_nansen/article/details/86619108 卷积神经网络中，若不采用非线性激活，会导致神经网络只能拟合线性可分的数据，因此通常会在卷积操作后，添加非线性激活单元，其中包括logistic
阅读全文
摘要：[转载]Pytorch中nn.Linear module的理解 本文转载并援引全文纯粹是为了构建和分类自己的知识，方便自己未来的查找，没啥其他意思。 这个模块要实现的公式是：y = x A T + b 来源：https://blog.csdn.net/u012936765/article/detai
阅读全文
摘要：Pytorch中nn.Dropout2d的作用 首先，关于Dropout方法， "这篇博文" 有详细的介绍。简单来说, 我们在前向传播的时候，让某个神经元的激活值以一定的概率p停止工作，这样可以使模型泛化性更强，因为它不会太依赖某些局部的特征 dropout方法有很多类型，图像处理中最常用的是Dro
阅读全文
