随笔分类 - pyTorch
PyTorch——(8) 正则化、动量、学习率、Dropout、BatchNorm
摘要：@ 正则化 L-1正则化实现 PyTorch没有L-1正则化，所以用下面的方法自己实现 L-2正则化 一般用L-2正则化 weight_decay 表示 动量 moment参数设置上式中的,表式上一时刻梯度所占的比例0~1之间 学习率衰减 当loss不在下降时的学习率
阅读全文
PyTorch——(7) MNIST手写数字识别实例
摘要：网络结构 代码 import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim from torchvision import datasets, transforms ba
阅读全文
PyTorch——(6)2D函数优化实例
摘要：最小值点有4个 import numpy as np from mpl_toolkits.mplot3d import Axes3D from matplotlib import pyplot as plt import torch def himmelblau(x): return (x[0] *
阅读全文
PyTorch——(5)自动梯度计算
摘要：@ 声明需要进行自动梯度 未申明的变量将无法进行自动梯度 申明方法有两种 # 在创建完成后，申明自动梯度 x = torch.ones(1) x.requires_grad() # 在创建时，就申明自动梯度 w = torch.full([1],2,requires_grad=True) 进行自动梯
阅读全文
PyTorch——(4)where条件判断、gather查表
摘要：where() 条件判断 gather()查表 input ：待查的表 dim ： 在input的哪个维度上查表 index： 待查表的索引值
阅读全文
PyTorch——(3) tensor基本运算
摘要：@ 矩阵乘法 只对2d矩阵有效，因为矩阵乘法是定义在2d矩阵上的 torch.mm(a,b) torch.matmul(a,b) a@b tensor的幂 对tensor中的每一个元素都进行幂运算 exp()/log() 近似运算 clamp() 截断 将小于10的都等于10 将大于10的都等于10
阅读全文
PyTorch——(2) tensor基本操作
摘要：@ 维度变换 view()/reshape() 改变形状 view()/reshape()等价，参数为需要目标tensor的形状 unsqueeze()增加维度 在指定位置增加一个维度，参数为增加后，被增加维度所在的位置索引 squeeze()压缩维度 只能压缩长度为1的维度，参数为压缩前，被压缩维
阅读全文
pyTorch——(1)基本数据类型
摘要：@ torch.tensor() 直接使用数据构造张量 a = torch.tensor(5.5) # 构造dim=0的标量 a = torch.tensor([5.5]) # 构造dim=1 的向量 b = torch.tensor([5.5, 3]) torch.FloatTensor() #
阅读全文
