11 2021 档案
摘要：每个通道上（单独计算，最后concat），一个batch内的所有样例的所有像素都参与平均。全连接中，是每个特征位置的所有scalar数值都参与求平均；卷积层中，是每个channel是一个特征，所有batchsz个样例里面的h*w个像素点矩阵作为全连接中的一个元素（一个feature上的scalar）
阅读全文
摘要：知乎 cat /usr/local/cuda/version.txt # 显示结果：CUDA Version 10.0.130 # CUDA 10.0 conda install pytorch==1.2.0 torchvision==0.4.0 cudatoolkit=10.0 -c pytorc
阅读全文
摘要：M1,M2,M3是形状相同（任意维度和形状都可以，记为shape）的index matrix。 M1的元素是0，1；M2取值于[0:8],M3取值于[0:768] 在data的形状为torch.Size([2, 8, 768])的数据中，取出data[M1,M2,M3]。其形状就是shape，其实就
阅读全文
摘要：torch.arange((10))[None, :],torch.arange((10))[:,None] #在外面增加了一个维度 output: (tensor([[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]]), tensor([[0], [1], [2], [3], [4],
阅读全文
摘要：X的维度： torch.Size([64, 10, 32]) batchsz=64,seq_len=10,dim=32。 其实很好理解啊，X的维度是[64, 10, 32]；所以valid_lens要mask它啊，所以，肯定是（64,10），现在 裂变成4个head，所以就是(256,10)。 pa
阅读全文
摘要：【前言】关于python中所有参数的知识：python的位置参数、默认参数、关键字参数、可变参数区别。本文只讲其中的两种可变参数。 【注意】 所有python函数的返回值若有大于一个，则该返回值就是一个tuple： return (batch_pred,batch_true,correct_num,
阅读全文
摘要：Embedding是什么？ 其为一个简单的存储固定大小的词典的嵌入向量的查找表，意思就是说，给一个编号，嵌入层就能返回这个编号对应的嵌入向量，嵌入向量反映了各个编号对应的符号的语义信息（蕴含了所有符号的语义关系）。 输入为一个编号列表，输出为对应的符号嵌入向量列表。 pytorch中的使用 #建立词
阅读全文
摘要：只改变要挑选的维度，其他维度不变 A=torch.tensor([[[3,4]]]) dec_X = A.argmax(dim=2)# 只在dim=2上挑选最大值，得到索引为scalar dec_X #相当于把最内侧的[3,4]的维度去掉了，得到结果1。其他维度不变 tensor([[1]])
阅读全文
摘要：各种normalization讲解 在各种网络中的应用 layer norm 参数 torch.nn.LayerNorm( normalized_shape: Union[int, List[int], torch.Size], eps: float = 1e-05, elementwise_aff
阅读全文
摘要：numpy计算正确 import numpy as np np.var([[1, 2], [2, 3]]) pytorch计算不对？ X_test = torch.tensor([[1, 2], [2, 3]], dtype=torch.float32) torch.var(X_test),torc
阅读全文
摘要：zhihu解答 例子 def add(*args, **kwargs): # 打印位置参数 for n in args: print(n) print("-"*20) # 打印关键字参数 for k, v in kwargs.items(): print('%s:%s' % (k, v)) # 暂不
阅读全文
摘要：y = torch.rand(5,3) y=torch.randn(5,3) 一个均匀分布，一个是标准正态分布。 torch.randn(2, 3) torch.rand(2, 3) 均匀分布 *torch.rand(sizes, out=None) → Tensor 返回一个张量，包含了从区间[0
阅读全文
摘要：查询cuda版本 cat /usr/local/cuda/version.txt 根据官网提示，用conda安装： conda create -n bartner python=3.7.4 conda activate bartner conda install pytorch==1.7.1 tor
阅读全文
