龙雪 - 博客园

摘要：神经网络离不开大量的梯度求导，若是交给人为计算，这将是十分耗时的一件事情。在pytorch中，autograd自动求导系统能有效解决这一问题。torch.autogradtorch.autograd.backwa... 阅读全文

posted @ 2020-07-16 14:23 龙雪阅读(437) 评论(0) 推荐(0) 编辑

摘要：主要可以通过两个角度来说明，但其实表述的意思也是异曲同工低显存跑大batchsize的角度这种模式可以让梯度玩出更多花样，比如说梯度累加（gradient accumulation）传统的训练函数，一个batch... 阅读全文

posted @ 2020-07-16 13:53 龙雪阅读(1246) 评论(0) 推荐(0) 编辑

摘要：计算图computational graph表示方法计算图是用来描述运算的有向无环图计算图有两个主要元素：结点（node）和边（edge）结点表示数据，如向量，矩阵，张量边表示运算，如加减乘除卷积等计算图不仅使... 阅读全文

posted @ 2020-07-16 00:00 龙雪阅读(1276) 评论(0) 推荐(0) 编辑

摘要：线性回归Linear Regression线性回归是分析一个变量与另外一个（多个）变量之间关系的方法因变量：y 自变量：x 关系：线性 y=wx+b 分析：求解w，b 求解步骤：1.... 阅读全文

posted @ 2020-07-15 17:52 龙雪阅读(368) 评论(0) 推荐(0) 编辑

摘要： PyTorch中，一般函数加下划线代表直接在原来的 Tensor 上修改，即in-place操作阅读全文

posted @ 2020-07-15 15:56 龙雪阅读(743) 评论(0) 推荐(0) 编辑

摘要： Robert Long对消融研究（或消融实验）定义：通常用于神经网络，尤其是相对复杂的神经网络，如R-CNN。我们的想法是通过删除部分网络并研究网络的性能来了解网络“消融”的原始含义是手术切除身体组织。ablat... 阅读全文

posted @ 2020-07-15 11:50 龙雪阅读(15577) 评论(2) 推荐(2) 编辑

摘要：张量操作一、张量的拼接与切分1.1 torch.cat()功能：将张量按维度dim进行拼接tensors：张量序列dim：要拼接的维度1.2 torch.stack()功能：在新创建的维度的上进行拼接tensor... 阅读全文

posted @ 2020-07-14 23:38 龙雪阅读(1442) 评论(0) 推荐(0) 编辑

摘要： Tensor 概念张量的数学概念：张量是一个多维数组，它是标量、向量、矩阵的高位扩展张量在pytorch中的概念：tensor之前是和pytorch早期版本中的variable一起使用的。variable是tor... 阅读全文

posted @ 2020-07-13 23:21 龙雪阅读(2992) 评论(0) 推荐(0) 编辑

摘要：多核学习既可以用在多任务学习，也可以用在多视图学习，也有研究同时对多任务和多视图同时采用多核的，目前已经有通用多任务多核学习方法。如果将多核用在多任务学习，相当于不同任务共享子空间的同时，还有各自特... 阅读全文

posted @ 2020-07-12 21:52 龙雪阅读(1206) 评论(1) 推荐(0) 编辑

摘要：正则化（Regularization）机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，称作L1正则化和 L2正则化，或者 L1范数和 L2范数。L1正则化和L2正则化可以看做是损... 阅读全文

posted @ 2020-07-10 10:27 龙雪阅读(1424) 评论(0) 推荐(0) 编辑

龙雪的博客