03 2022 档案
摘要:假设我们搭建的模型名称为net,在训练时,我们想查看第0个block的attention中的矩阵K的梯度函数和前几个权重、梯度: net.transformer.encoder.layer[0].attn.key.weight.grad_fn (key即矩阵K) net.transformer.en
阅读全文
摘要:例一 import torch import torch.nn as nn a = torch.rand([3, 3]) # a是2维的 b = a[:2] # 对a进行切片操作时,只指明了一维。这时的意思是,只对a的第一维进行切片操作,第二维不变,相当于b=a[:2, :] print('a:\n
阅读全文
摘要:本文参考了以下资料: 知乎:python logging 日志模块详解 python 日志输出模块 logging 简书:Python日志库logging总结 csdn: pytorch图像分类框架搭建——利用logging记录训练日志 一. 基本使用 logging 使用非常简单,使用 basic
阅读全文
摘要:python导入任意目录下的模块
阅读全文
摘要:ml_collections的介绍
阅读全文
摘要:参考: Pytorch之contiguous函数 PyTorch中的contiguous
阅读全文
摘要:position embedding:This post is all you need(②位置编码与编码解码过程)
阅读全文
摘要:知乎:支持向量机(SVM)——原理篇 简书:SVM算法原理
阅读全文
摘要:one-vs-all classifier和one-vs-one classifier
阅读全文