06 2022 档案
摘要：点击查看代码 import math import torch from torch import nn from torch.nn import functional as F from d2l import torch as d2l """ 隐变量 存在，没观察到 潜变量 不存在，人为加入 计算
阅读全文
摘要：  ![
阅读全文
摘要：点击查看代码 import random import torch from d2l import torch as d2l """ 语言模型 做预训练模型（BERT，GPT-3） 生成文本，给定前面几个词，不断的使用xt~p(xt|xt-1,...x1)来生成后续文本 判断多个序列中哪个更常见 N
阅读全文
摘要：点击查看代码 import collections import re from d2l import torch as d2l # 文本预处理 # 将文本当作时序序列，将文本中的字、词作为一个样本，样本之间有时序信息 # 读取数据集 print('读取数据集') #@save d2l.DATA_H
阅读全文
摘要：点击查看代码 import torch from torch import nn from d2l import torch as d2l """ 𝑥𝑡∼𝑃(𝑥𝑡∣𝑥𝑡−1,…,𝑥1) 在时间t观察到𝑥𝑡，那么得到T个不独立的随机变量(𝑥1,…,xT)~p(x) 使用条件概率展
阅读全文
摘要：点击查看代码 import torch from torch import nn from torch.nn import functional as F # 加载和保存张量 print("加载和保存张量") x = torch.arange(4) torch.save(x, 'x-file') x
阅读全文
摘要：点击查看代码 import torch from torch import nn from torch.nn import functional as F # 多层感知机 net = nn.Sequential(nn.Linear(20, 256), nn.ReLU(), nn.Linear(256
阅读全文
摘要：点击查看代码 import torch from torch import nn # 单隐藏层多层感知机 net = nn.Sequential( nn.Linear(4, 8), nn.ReLU(), nn.Linear(8, 1) ) X = torch.rand(size=(2, 4)) pr
阅读全文
摘要：点击查看代码 import torch import torch.nn.functional as F from torch import nn # 构造一个没有任何参数的自定义层 print("构造一个没有任何参数的自定义层") class CenteredLayer(nn.Module): de
阅读全文
摘要：点击查看代码 import hashlib import os import tarfile import zipfile import requests import pandas as pd import numpy as np import pandas as pd import torch
阅读全文
摘要：点击查看代码 # 梯度爆炸 """ 值超出值域（infinity） 16位浮点数（6e-5 - 6e-4） 对学习率敏感 lr太大，大参数值，更大的梯度 lr太小，训练无进展 训练过程不断调整学习率 """ # 梯度消失 """ 梯度变成0 16位浮点数 训练没有进展 不管如何选择学习率 对底部层尤
阅读全文
摘要：点击查看代码 import time import torch from torch import nn from d2l import torch as d2l # 丢弃法：层之间加噪音 # 通常将丢弃法作用在隐藏全连接层的输出上 """ 丢弃法将一些输出项随机置0来控制模型复杂度 常作用在多层感
阅读全文
摘要：点击查看代码 import torch from torch import nn from d2l import torch as d2l # 权重衰退是最广泛使用的正则化的技术之一 # 生成数据集 n_train, n_test, num_inputs, batch_size = 20, 100,
阅读全文
摘要：点击查看代码 import math import numpy as np import torch from torch import nn from d2l import torch as d2l # 生成数据集 max_degree = 20 # 多项式的最大阶数 n_train, n_tes
阅读全文
摘要：数据 模型容量 简单 复杂 低 正常 欠拟合 高 过拟合 正常 低容量的模型难以拟合训练数据 高容量的模型可以记住所有的训练数据 ———————————————————————————————————— VC维 对于一个分类模型，VC等于一个最大的数据集的大小，不管如何给定标号，都存在一个模型来对它
阅读全文
摘要：训练误差 模型在训练数据上的误差（模拟考试） 泛化误差 模型在新数据上的误差（真实考试） 验证数据集 valid 评估模型好坏的数据集 不要跟训练数据混在一起 测试数据集 只用一次的数据集 K-则交查验证 在没有足够多数据时使用 算法： 将训练数据分割成K块 for i=1,...,K 使用第i块作
阅读全文
摘要：点击查看代码 import torch from torch import nn from d2l import torch as d2l batch_size = 256 train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)
阅读全文
摘要：单层感知机 感知机是一个二分类模型，是最早的AI模型之一 它的求解算法等价于使用批量大小为1的梯度下降 它不能拟合XOR函数，导致第一次AI寒冬 多层感知机 多层感知机使用隐藏层和激活函数来得到非线性模型 常用激活函数是Sigmoid,Tanh,ReLU 超参数：隐藏层数、每层隐藏层的大小 点击查看
阅读全文
摘要：点击查看代码 import torch import torchvision from torch import nn from d2l import torch as d2l from torch.utils import data from torchvision.transforms impo
阅读全文
摘要：点击查看代码 import pylab import torch from IPython import display from d2l import torch as d2l # softmax回归的从零开始实现 batch_size = 256 train_iter, test_iter =
阅读全文
摘要：Softmax回归是一个多类分类模型 使用Softmanx操作子得到每个类的预测置信度 使用交叉熵来衡量预测与标号的区别 点击查看代码 import torch import torchvision from torch.utils import data from torchvision impo
阅读全文
摘要：点击查看代码 import torch from d2l.torch import d2l from torch.utils import data from torch import nn # 生成数据集 true_w = torch.tensor([2, -3.4]) true_b = 4.2
阅读全文
摘要：点击查看代码 import matplotlib as matplotlib import random import torch from d2l import torch as d2l """ 线性回归是对n维输入的加权，外加偏差 使用平方损失来衡量预测值和真实值的差异 线性回归有显示解 线性回
阅读全文
摘要：点击查看代码 import torch x = torch.arange(4.0) # 在计算 𝑦 关于 𝐱 的梯度之前，需要一个地方来存储梯度。 # 等价于x=torch.arange(4.0,requires_grad=True) x.requires_grad_(True) # 默认值是N
阅读全文
摘要：点击查看代码 import torch # 标量 # 标量由只有一个元素的张量表示 x = torch.tensor(3.0) y = torch.tensor(2.0) print(x + y, x * y, x ** y) # 向量 # 标量值组成的列表 x = torch.arange(4)
阅读全文
摘要：点击查看代码 import torch # 数据操作 # 使用 arange 创建一个行向量 x # 张量中的每个值都称为张量的元素（element） x = torch.arange(12) print(x) # 张量的shape属性来访问张量（沿每个轴的长度）的形状] print(x.shape
阅读全文
摘要：方法一 网络模型、数据（输入、标注）以及损失函数.cuda() 点击查看代码 import torch import torchvision from torch import nn from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, S
阅读全文
摘要：准备数据集 点击查看代码 train_data = torchvision.datasets.CIFAR10("./dataset1", train=True, download=True, transform=torchvision.transforms.ToTensor()) test_data
阅读全文
摘要：保存 点击查看代码 import torch import torchvision from torch import nn from torch.nn import Conv2d vgg16_false = torchvision.models.vgg16(pretrained=False) #
阅读全文
摘要：点击查看代码 import torch import torchvision from torch import nn vgg16_false = torchvision.models.vgg16(pretrained=False) # pretrained=True 下载训练好的模型 # vgg1
阅读全文
摘要：lr : learning rate 学习速率 点击查看代码 import torch import torchvision from torch import nn from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequentia
阅读全文
摘要：损失函数 1.计算实际输出与目标之间的差距 2.为更新输出提供一定的依据（反向传播）--grad 损失函数（L1Loss、MSELoss、CrossEntropyLoss） import torch from torch.nn import L1Loss, MSELoss, CrossEntropy
阅读全文
摘要：点击查看代码 import torch from torch import nn from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential from torch.utils.tensorboard import Summa
阅读全文
摘要：点击查看代码 import torch import torchvision from torch import nn from torch.nn import Linear from torch.utils.data import DataLoader dataset = torchvision.
阅读全文
摘要：非线性激活：引入非线性特征 点击查看代码 import torch import torchvision from torch import nn from torch.nn import ReLU, Sigmoid # input = torch.tensor([[1, -0.5], # [-1,
阅读全文
摘要：最大池化目的：保留输入特征，减小数据量 点击查看代码 import torch import torchvision from torch import nn from torch.nn import MaxPool2d # 最大池化目的：保留输入特征，减小数据量 from torch.utils.
阅读全文
摘要：点击查看代码 import torch import torchvision from torch import nn from torch.nn import Conv2d from torch.utils.data import DataLoader from torch.utils.tenso
阅读全文
摘要：点击查看代码 import torch import torch.nn.functional as F input = torch.tensor([[1, 2, 0, 3, 1], [0, 1, 2, 3, 1], [1, 2, 1, 0, 0], [5, 2, 3, 1, 1], [2, 1, 0
阅读全文
摘要：点击查看代码 import torch from torch import nn class Test(nn.Module): def __init__(self): super().__init__() def forward(self, input): output = input + 1 re
阅读全文
