摘要:
+=, -=, /=, *= 在python是in-place 操作,要小心使用,特别是对于列表、张量、数组等数据类型,要谨慎使用+=, -=, /=, *=。 阅读全文
摘要:
python中with的用法 阅读全文
摘要:
Pytorch张量的拆分与拼接 阅读全文
摘要:
假设我们搭建的模型名称为net,在训练时,我们想查看第0个block的attention中的矩阵K的梯度函数和前几个权重、梯度: net.transformer.encoder.layer[0].attn.key.weight.grad_fn (key即矩阵K) net.transformer.en 阅读全文
摘要:
例一 import torch import torch.nn as nn a = torch.rand([3, 3]) # a是2维的 b = a[:2] # 对a进行切片操作时,只指明了一维。这时的意思是,只对a的第一维进行切片操作,第二维不变,相当于b=a[:2, :] print('a:\n 阅读全文
摘要:
本文参考了以下资料: 知乎:python logging 日志模块详解 python 日志输出模块 logging 简书:Python日志库logging总结 csdn: pytorch图像分类框架搭建——利用logging记录训练日志 一. 基本使用 logging 使用非常简单,使用 basic 阅读全文