随笔分类 - pytorch
1
pytorch的配置、语法、用法、原理等。
摘要：csdn CrossEntropyLoss 等价于 softmax+log+NLLLoss LogSoftmax等价于softmax+log # 首先定义该类 loss = torch.nn.CrossEntropyLoss() #然后传参进去 loss(input, target) input维度
阅读全文
摘要：讲解 对比学习论文中出现： # compute logits # Einstein sum is more intuitive # positive logits: Nx1 l_pos = torch.einsum('nc,nc->n', [q, k]).unsqueeze(-1) # negati
阅读全文
摘要：取参数： g=model.named_parameters() parm={} for name,parameters in model.named_parameters(): print(name,':',parameters.size()) parm[name]=parameters.detac
阅读全文
摘要：torch.masked_select用于截取valid的标签太好用了: pred=torch.tensor([2,3,4,5]) mask=torch.ByteTensor([1,1,0,0]) torch.masked_select(pred,mask) # deprecated, 用bool值
阅读全文
摘要：函数作用 torch.where()函数可以是按照给定的条件合并两个tensor； 条件满足的位置取前者，否则取后者。 代码示例 >>> import torch >>> a=torch.randn(3,5) >>> b=torch.ones(3,5) >>> a tensor([[-0.0310,
阅读全文
摘要：每个通道上（单独计算，最后concat），一个batch内的所有样例的所有像素都参与平均。全连接中，是每个特征位置的所有scalar数值都参与求平均；卷积层中，是每个channel是一个特征，所有batchsz个样例里面的h*w个像素点矩阵作为全连接中的一个元素（一个feature上的scalar）
阅读全文
摘要：知乎 cat /usr/local/cuda/version.txt # 显示结果：CUDA Version 10.0.130 # CUDA 10.0 conda install pytorch==1.2.0 torchvision==0.4.0 cudatoolkit=10.0 -c pytorc
阅读全文
摘要：torch.arange((10))[None, :],torch.arange((10))[:,None] #在外面增加了一个维度 output: (tensor([[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]]), tensor([[0], [1], [2], [3], [4],
阅读全文
摘要：X的维度： torch.Size([64, 10, 32]) batchsz=64,seq_len=10,dim=32。 其实很好理解啊，X的维度是[64, 10, 32]；所以valid_lens要mask它啊，所以，肯定是（64,10），现在 裂变成4个head，所以就是(256,10)。 pa
阅读全文
摘要：Embedding是什么？ 其为一个简单的存储固定大小的词典的嵌入向量的查找表，意思就是说，给一个编号，嵌入层就能返回这个编号对应的嵌入向量，嵌入向量反映了各个编号对应的符号的语义信息（蕴含了所有符号的语义关系）。 输入为一个编号列表，输出为对应的符号嵌入向量列表。 pytorch中的使用 #建立词
阅读全文
摘要：各种normalization讲解 在各种网络中的应用 layer norm 参数 torch.nn.LayerNorm( normalized_shape: Union[int, List[int], torch.Size], eps: float = 1e-05, elementwise_aff
阅读全文
摘要：y = torch.rand(5,3) y=torch.randn(5,3) 一个均匀分布，一个是标准正态分布。 torch.randn(2, 3) torch.rand(2, 3) 均匀分布 *torch.rand(sizes, out=None) → Tensor 返回一个张量，包含了从区间[0
阅读全文
摘要：torch.nn.Flatten()可以是Sequential模型的一层，torch中定义的是： def __init__(self, start_dim: int = 1, end_dim: int = -1) -> None: super(Flatten, self).__init__() se
阅读全文
摘要：>>> ones=torch.ones((2,3,2)) >>> zeros=torch.zeros((2,3,2)) >>> torch.cat((ones,zeros),1) tensor([[[1., 1.], [1., 1.], [1., 1.], [0., 0.], [0., 0.], [
阅读全文
摘要：>>> p tensor([[0., 0., 0., 0., 0.], [0., 0., 0., 0., 0.], [0., 0., 0., 0., 0.], [0., 0., 0., 0., 0.]]) >>> torch.stack([p,p],dim=0) tensor([[[0., 0.,
阅读全文
摘要：csdn 解决办法 在报错哪一行前面加上下面两行：释放无关的内存 if hasattr(torch.cuda, 'empty_cache'): torch.cuda.empty_cache()
阅读全文
摘要：4.1 模型构造 让我们回顾一下在3.10节（多层感知机的简洁实现）中含单隐藏层的多层感知机的实现方法。我们首先构造Sequential实例，然后依次添加两个全连接层。其中第一层的输出大小为256，即隐藏层单元个数是256；第二层的输出大小为10，即输出层单元个数是10。我们在上一章的其他节中也使用
阅读全文
摘要：NN conv1d batchnorm1d CLASStorch.nn.``BatchNorm1d(num_features, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)[SOURCE] Applies Batch
阅读全文
1
