摘要: torch.optim.SGD class torch.optim.SGD(params, lr=<object object>, momentum=0, dampening=0, weight_decay=0, nesterov=False) 功能: 可实现SGD优化算法,带动量SGD优化算法,带 阅读全文
posted @ 2020-03-02 21:59 纯洁的小兄弟 阅读(924) 评论(0) 推荐(0) 编辑
摘要: 损失函数通过调用torch.nn包实现。 基本用法: criterion = LossCriterion() #构造函数有自己的参数 loss = criterion(x, y) #调用标准时也有参数 L1范数损失 L1Loss 计算 output 和 target 之差的绝对值。 torch.nn 阅读全文
posted @ 2020-03-02 21:44 纯洁的小兄弟 阅读(2516) 评论(0) 推荐(0) 编辑
摘要: 本文对transforms.py中的各个预处理方法进行介绍和总结。主要从官方文档中总结而来,官方文档只是将方法陈列,没有归纳总结,顺序很乱,这里总结一共有四大类,方便大家索引: 裁剪——Crop 中心裁剪:transforms.CenterCrop 随机裁剪:transforms.RandomCro 阅读全文
posted @ 2020-03-02 14:06 纯洁的小兄弟 阅读(5212) 评论(0) 推荐(0) 编辑
摘要: pytorch在torch.nn.init中提供了常用的初始化方法函数,这里简单介绍,方便查询使用。 介绍分两部分: 1. Xavier,kaiming系列; 2. 其他方法分布 Xavier初始化方法,论文在《Understanding the difficulty of training dee 阅读全文
posted @ 2020-03-02 13:33 纯洁的小兄弟 阅读(8400) 评论(0) 推荐(1) 编辑
摘要: 在使用PyTorch做实验时经常会用到生成随机数Tensor的方法,比如: torch.rand() torch.randn() torch.normal() torch.linespace() 均匀分布 torch.rand(*sizes, out=None) → Tensor 返回一个张量,包含 阅读全文
posted @ 2020-03-02 11:29 纯洁的小兄弟 阅读(17336) 评论(0) 推荐(0) 编辑
摘要: PyTorch学习率调整策略通过torch.optim.lr_scheduler接口实现。PyTorch提供的学习率调整策略分为三大类,分别是: 有序调整:等间隔调整(Step),按需调整学习率(MultiStep),指数衰减调整(Exponential)和 余弦退火CosineAnnealing 阅读全文
posted @ 2020-03-02 11:06 纯洁的小兄弟 阅读(1037) 评论(0) 推荐(0) 编辑
摘要: # plot the numerical columns vs the output SalePrice to visualise the (linear) relationship for col in cols_to_use[:-1]: data.plot.scatter(x=col, y='S 阅读全文
posted @ 2020-02-24 21:23 纯洁的小兄弟 阅读(112) 评论(0) 推荐(0) 编辑
摘要: 在做深度学习实验或项目时,为了得到最优的模型结果,中间往往需要很多次的尝试和修改。而合理的文件组织结构,以及一些小技巧可以极大地提高代码的易读易用性。根据我的个人经验,在从事大多数深度学习研究时,程序都需要实现以下几个功能: 模型定义 数据处理和加载 训练模型(Train&Validate) 训练过 阅读全文
posted @ 2020-02-24 16:17 纯洁的小兄弟 阅读(842) 评论(0) 推荐(1) 编辑
摘要: 数据处理 在解决深度学习问题的过程中,往往需要花费大量的精力去处理数据,包括图像、文本、语音或其它二进制数据等。数据的处理对训练神经网络来说十分重要,良好的数据处理不仅会加速模型训练,更会提高模型效果。考虑到这点,PyTorch提供了几个高效便捷的工具,以便使用者进行数据处理或增强等操作,同时可通过 阅读全文
posted @ 2020-02-24 15:34 纯洁的小兄弟 阅读(3179) 评论(0) 推荐(0) 编辑
摘要: import torch as t from torch import nn class Linear(nn.Module): # 继承nn.Module def __init__(self, in_features, out_features): super(Linear, self).__ini 阅读全文
posted @ 2020-02-24 11:21 纯洁的小兄弟 阅读(1381) 评论(0) 推荐(0) 编辑