PyTorch-function 之 RNN,LSTM,GRU使用
摘要:来张图说明一下 RNNCell nn.RNNCell(input_size, hidden_size, bias=True, nonlinearity=‘tanh’) h′=tanh(Wihx+bih+Whhh+bhh) input_size:输入数据X的特征值的数目。 hidden_siz
阅读全文
PyTorch 剪枝
摘要:pytorch 实现剪枝的思路是 生成一个掩码,然后同时保存 原参数、mask、新参数,如下图 pytorch 剪枝分为 局部剪枝、全局剪枝、自定义剪枝; 局部剪枝 是对 模型内 的部分模块 的 部分参数 进行剪枝,全局剪枝是对 整个模型进行剪枝; 本文旨在记录 pytorch 剪枝模块的用法,首先
阅读全文
PyTorch【1】- 安装及异常记录
摘要:安装 安装还得看 官网 找到这个界面 复制命令即可 如果想装 其他版本,点击 https://pytorch.org/get-started/previous-versions/ 或者 https://pytorch.org/get-started/locally/ 检测是否安装成功 看看 gpu
阅读全文
GPU及深度学习 环境搭建
摘要:基本概念 1、什么是CUDA CUDA(ComputeUnified Device Architecture),一种由NVIDIA推出的通用并行计算架构,该架构使GPU能够解决复杂的计算问题 2、什么是CUDNN NVIDIA cuDNN是用于深度神经网络的GPU加速库。它强调性能、易用性和低内存开
阅读全文
PyTorch【9】-torchvision.transforms 图像数据增强
摘要:torchvision 是 torch 中计算机视觉库,提供了3种类型的接口,包括 datasets、transforms、model,其中 transforms 封装了各种图像数据增强的方法 裁剪 transforms.CenterCrop(size):从图像中心裁剪图片 size:裁剪尺寸 tr
阅读全文
PyTorch【8】-数据加载
摘要:自定义 数据集对象 在 pytorch 中,数据加载可以通过自定义数据集对象实现; 数据集对象被抽象为 DataSet 类; 自定义数据集对象,需要继承该类,并且实现 __getitem__ 和 __len__ 两个方法 示例 class DogCat(data.Dataset): def __in
阅读全文
PyTorch【7】-nn.Sequential
摘要:nn.Sequential 是一个有序的容器; 它的输入是一个 神经网络模块 的有序序列,或者是由 模块名和神经网络模块 组成的有序字典; 代表模型的输入(样本)要有序地经过这些模块,然后得到一个输出; 源码解析 源码地址 https://pytorch.org/docs/stable/_modul
阅读全文
PyTorch【6】-线性回归_SGD_动量梯度下降
摘要:本篇是一个练手项目,目的在于: 1. 熟悉 pytorch 2. 实现 SGD 与 动量梯度下降,并对比收敛性 本教程环境 pytorch 1.3以上 手动实现线性回归模型,一个很简单的模型,不多介绍,直接上代码 import torch as t import matplotlib.pylab a
阅读全文
PyTorch【5】-Tensor 运算
摘要:Tensor API 较多,所以把 运算 单独列出来,方便查看 本教程环境 pytorch 1.3以上 乘法 见代码 import torch as t # t.mul(input, other, out=None):mul 等价于 * # t.matmul(mat, mat, out=None):
阅读全文
PyTorch【4】-神经网络API_nn
摘要:Autograd 虽然提供了自动微分,但是如果用 autograd 自行搭建神经网络,也是比较麻烦的; 本教程环境 pytorch 1.3以上 pytorch 提供了更高级的 API,即 torch.nn 模块,该模块构建于 Autograd 上,其中 nn.Module 是最重要的类,如下 cla
阅读全文
PyTorch【3】-Autograd
摘要:先做入门讲解,后面慢慢更新 本教程环境 pytorch 1.3以上 Variable 变量 variable 是对张量 tensor 的封装,所以它具有 tensor 的大部分属性方法; variable 用来构建计算图; variable 包括 data、grad、grad_fn 3 个属性; /
阅读全文
PyTorch【2】-Tensor 与基础操作
摘要:几乎所有深度学习框架背后的设计核心都是张量与计算图; Tensor 即张量,在 tf 中也有这个概念,tensor 是 pytorch 和 tf 非常重要的数据结构,可以理解为多维数组,它可以是一个数、一个向量、一个矩阵、多维数组; Tensor 可以用 GPU 加速; 在 pytorch 中其用法
阅读全文
CNN 经典网络之-ResNet
摘要:resnet 又叫深度残差网络 图像识别准确率很高,主要作者是国人哦 深度网络的退化问题 深度网络难以训练,梯度消失,梯度爆炸,老生常谈,不多说 resnet 解决了这个问题,并且将网络深度扩展到了最多152层。怎么解决的呢? 残差学习 结构如图 在普通的卷积过程中加入了一个x的恒等映射(ident
阅读全文