随笔分类 - Deep Learning
摘要：摘自：Solving the multiple instance problem with axis-parallel rectangles. Thomas G. Dietterich et al. 1997.
阅读全文
摘要：模型：
阅读全文
摘要：本文摘自 A Survey on Temporal Action Localization. HuiFen Xia et al. 2020. 此外，THUMOS 14数据集上有提供另外一个关于mPA是计算方法：
阅读全文
摘要：batch normalization, instance normalization, layer normalization, group normalization （知乎） batch normalization, instance normalization, layer normaliz
阅读全文
摘要：一文梳理无监督对比学习（MoCo/SimCLR/SwAV/BYOL/SimSiam）（微信推文） 自监督学习（Self-Supervised Learning） 2018-2020年发展综述 （微信推文） 对比学习（Contrastive Learning）综述（知乎） 综述文献： 2020TPAM
阅读全文
摘要：非极大值抑制（Non-Maximum Suppression，NMS） 单类别NMS的numpy实现 def py_cpu_nms(dets, thresh): """Pure Python NMS baseline.""" #x1、y1、x2、y2、以及score赋值 x1 = dets[:, 0
阅读全文
摘要：Zero-shot Learning / One-shot Learning / Few-shot Learning
阅读全文
摘要：Attention in RNN
阅读全文
摘要：微信视频讲解(1) （推荐） 微信视频讲解(2) （推荐） Transformer 详解 （有详细的原理以及pytorch代码实现讲解，推荐） 李宏毅哔哩哔哩视频讲解 Vision Transformer 超详细解读 (原理分析+代码解读) (一) （推荐） 举个例子讲下transformer的输入
阅读全文
摘要：1. 蒸馏损失函数代码实现 摘自：知识蒸馏loss求解方法 - tangjunjun - 博客园 (cnblogs.com) import torch import torch.nn as nn import numpy as np loss_f = nn.KLDivLoss() # 生成网络输出
阅读全文
摘要：余弦相似性： 只适用于A和B的各个元素都为正的情况。 对于A和B的元素可能为负的情况，可采用下面的cos距离函数：
阅读全文
摘要：【1】混淆矩阵（Confusion Matrix）概念 【2】 混淆矩阵-百度百科 【3】 Python中生成并绘制混淆矩阵（confusion matrix） 【4】 使用python绘制混淆矩阵（confusion_matrix） 示例： Python画混淆矩阵程序示例，摘自【4】。 from
阅读全文
摘要：首先把数据集划分为训练集和测试集； 再把训练集细分为训练集和验证集，划分的方式常常是K折交叉验证法。 训练集(training set)：用于训练模型，拟合的数据样本。 验证集(validate set)：用于决定什么时候停止训练模型、使用多少层网络、使用什么正则化方式、网络参数量等超参。 测试集(
阅读全文
摘要：pytorch 优化器(optim)不同参数组，不同学习率设置
阅读全文
摘要：本文摘自：学习率和batchsize如何影响模型的性能？ 初始的学习率一般有一个最优值，过大则导致模型不收敛，过小则导致模型收敛特别慢或者无法学习，下图展示了不同大小的学习率下模型收敛情况的可能性，图来自于cs231n。
阅读全文
摘要：深度学习中的batch的大小对学习效果有何影响？ 更大的batch size能更好的代表训练样本总体，所指示的梯度方向能更接近所有训练数据的极值方向。
阅读全文
摘要：【Pytorch】对比clone、detach以及copy_等张量复制操作
阅读全文
摘要：KL散度理解以及使用pytorch计算KL散度 计算例子：
阅读全文
摘要：参考：相对熵（KL散度）
阅读全文
摘要：在pytorch中计算KLDiv loss时，注意reduction='batchmean'，不然loss不仅会在batch维度上取平均，还会在概率分布的维度上取平均。 参考：KL散度-相对熵
阅读全文
