随笔分类 - pytorch学习
摘要：用单机单卡训练模型的时代已经过去，单机多卡已经成为主流配置。如何最大化发挥多卡的作用呢？本文介绍Pytorch中的DistributedDataParallel方法。
阅读全文
摘要：学习率是深度学习训练中至关重要的参数，很多时候一个合适的学习率才能发挥出模型的较大潜力。所以学习率调整策略同样至关重要，这篇博客介绍一下Pytorch中常见的学习率调整方法。 import torch import numpy as np from torch.optim import SGD fr
阅读全文
摘要：在这一教程中，你将会学习到怎么使用迁移学习训练网络。你可以在cs231n课程中学习更多有关迁移学习的内容。 引用如下笔记： 实践中，很少有人从随机开始训练一个完整的网络，因为缺乏足够的数据。通用的做法是在一个非常大的数据集上（比如ImageNet,它有120万图片，1000个类别）预训练一个Conv
阅读全文
摘要：你已经学习了如何定义神经网络，计算损失和执行网络权重的更新。 现在你或许在思考。 What about data? 通常当你需要处理图像，文本，音频，视频数据，你能够使用标准的python包将数据加载进numpy数组。之后你能够转换这些数组到torch.*Tensor。 对于图片，类似于Pillow
阅读全文
摘要：神经网络能够使用torch.nn包构建神经网络。 现在你已经对autogard有了初步的了解，nn基于autograd来定义模型并进行微分。一个nn.Module包含层，和一个forward(input)方法并返回output。 以如下分类数字图片的网络所示： 这是一个简单的前馈网络。它接受输入，经
阅读全文
摘要：Pytorch中神经网络包中最核心的是autograd包，我们先来简单地学习它，然后训练我们第一个神经网络。 autograd包为所有在tensor上的运算提供了自动求导的支持，这是一个逐步运行的框架，也就意味着后向传播过程是按照你的代码定义的，并且单个循环可以不同 我们通过一些简单例子来了解 Te
阅读全文
摘要：Pytorch是基于python的科学计算包，为两类受众提供服务 作为Numpy的替换，让你可以使用GPU的算力 作为一个深度学习计算平台提供最大的计算灵活性与速度 开始体验pytorch的基础功能 Tensor: tensor与Numpy的高维数据概念类似，可以在GPU上进行计算 建立一个5*3的
阅读全文