03 2022 档案

摘要：Pytorch张量的拆分与拼接阅读全文

posted @ 2022-03-27 11:28 Picassooo 阅读(39) 评论(0) 推荐(0) 编辑

摘要：假设我们搭建的模型名称为net，在训练时，我们想查看第0个block的attention中的矩阵K的梯度函数和前几个权重、梯度： net.transformer.encoder.layer[0].attn.key.weight.grad_fn （key即矩阵K） net.transformer.en 阅读全文

posted @ 2022-03-24 10:41 Picassooo 阅读(432) 评论(0) 推荐(0) 编辑

python张量下标操作维度小于张量维度的情况

摘要：例一 import torch import torch.nn as nn a = torch.rand([3, 3]) # a是2维的 b = a[:2] # 对a进行切片操作时，只指明了一维。这时的意思是，只对a的第一维进行切片操作，第二维不变，相当于b=a[:2, :] print('a:\n 阅读全文

posted @ 2022-03-23 19:15 Picassooo 阅读(46) 评论(0) 推荐(0) 编辑

python logging日志模块在多卡训练DDP中的使用

摘要：本文参考了以下资料：知乎：python logging 日志模块详解 python 日志输出模块 logging 简书：Python日志库logging总结 csdn: pytorch图像分类框架搭建——利用logging记录训练日志一. 基本使用 logging 使用非常简单，使用 basic 阅读全文

posted @ 2022-03-23 10:56 Picassooo 阅读(977) 评论(0) 推荐(1) 编辑

转：python导入任意目录下的模块

摘要：python导入任意目录下的模块阅读全文

posted @ 2022-03-20 17:33 Picassooo 阅读(33) 评论(0) 推荐(0) 编辑

转：ml_collections的介绍

摘要：ml_collections的介绍阅读全文

posted @ 2022-03-20 17:07 Picassooo 阅读(732) 评论(0) 推荐(0) 编辑

转：PyTorch中的contiguous, transpose, view, reshape

摘要：参考： Pytorch之contiguous函数 PyTorch中的contiguous 阅读全文

posted @ 2022-03-19 12:01 Picassooo 阅读(45) 评论(0) 推荐(0) 编辑

Transformer position embedding 位置编码

摘要：position embedding:This post is all you need（②位置编码与编码解码过程）阅读全文