随笔分类 - Deep learning_CV
摘要：Arcface训练问题分析 1、现象 使用ArcFace 层时，训练前期准确率一直为0，到后面才逐渐上升； 2、分析 从代码入手 output = (y * phi) + ((1.0 - y) * cosine) output *= s y 是one-hot形式的真实label，phi=cos(θ+
阅读全文
摘要：1、定义： 自监督学习主要是利用辅助任务（pretext）从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征。（也就是说自监督学习的监督信息不是人工标注的，而是算法在大规模无监督数据中自动构造监督信息，来进行监督学习或训练。因此，大多
阅读全文
摘要：参考链接：https://blog.csdn.net/weixin_35848967/article/details/108493217 出发点： 因为我们的目标优化函数可能是多峰的（如下图所示），除了全局最优解之外还有多个局部最优解，在训练时梯度下降算法可能陷入局部最小值，此时可以通过突然提高学习
阅读全文
摘要：最早出现在DeeplLab系列中，作用：可以在不改变特征图尺寸的同时增大感受野，摈弃了pool的做法（丢失信息）； 我们设: kernel size = k, dilation rate = d, input size = W1, output size = W2, stride=s, paddin
阅读全文
摘要：depth wise cnn相对于传统的CNN，区别在于：它是逐通道做卷积操作！ 例子如下： （1）使用传统卷积，输入：H*W*C_in，最终输出h*w*C_out：卷积核尺寸为K*K*C_in*C_out，则参数量=K*K*C_in*C_out，计算量=K*K*h*w*C_in*C_out; （2
阅读全文
摘要：最早由RGB在论文《Training Region-based Object Detectors with Online Hard Example Mining》中提出，用于fast-rcnn训练中，具有一定训练效果； 论文地址：https://arxiv.org/pdf/1604.03540.pd
阅读全文
摘要：参考：https://blog.csdn.net/a133521741/article/details/79221015 解释： （1）offline学习：每次训练完一个batch后再更新参数； （2）online学习：每次训练完一个样本后就更新参数；
阅读全文
摘要：在深度学习实验中经常会遇Eembedding层,然而网络上的介绍可谓是相当含糊。比如 Keras中文文档中对嵌入层 Embedding的介绍除了一句 “嵌入层将正整数（下标）转换为具有固定大小的向量”之外就不愿做过多的解释。那么我们为什么要使用嵌入层 Embedding呢? 主要有这两大原因: 1、
阅读全文
摘要：定义：找到一种映射函数，该函数将网络中的每个节点转换为低维度的潜在表示（即降维）。 参考链接：https://www.jiqizhixin.com/articles/2018-08-14-10
阅读全文
摘要：1、FLOPs的概念：全称是floating point operations per second，意指每秒浮点运算次数，即用来衡量硬件的计算性能；在CNN中用来指浮点运算次数； 2、计算过程： 如上，根据上图来计算第一层卷积层的FLOPs： 对于某个卷积层，它的FLOPs数量为：，其中表示该层参
阅读全文
摘要：参考：https://blog.csdn.net/u013082989/article/details/83537370 作用：用于对差异较小的类别进行区分
阅读全文
摘要：VOC2012官网介绍：http://host.robots.ox.ac.uk/pascal/VOC/voc2012/index.html 分割部分：参考博客：https://blog.csdn.net/haoji007/article/details/80361587?tdsourcetag=s_
阅读全文
摘要：(1)FCN中引入的四种Metrics:
阅读全文
摘要：方法一：Hard Negative Mining 参考：https://www.cnblogs.com/zf-blog/p/8043347.html 方法二：Focal Loss 参考：https://www.cnblogs.com/zf-blog/p/10334279.html
阅读全文
摘要：为了有效地同时解决样本类别不均衡和苦难样本的问题，何凯明和RGB以二分类交叉熵为例提出了一种新的Loss Focal loss 原始的二分类交叉熵形式如下： Focal Loss形式如下： 上式中，相对于原始的二分类交叉熵加入了两个量：1、modulating factor：（其中幂称为focusi
阅读全文
摘要：参见：https://github.com/hoya012/deep_learning_object_detection
阅读全文
摘要：deconvolution讲解论文链接：https://arxiv.org/abs/1609.07009 关于conv和deconvoluton的另一个讲解链接：http://deeplearning.net/software/theano_versions/dev/tutorial/conv_ar
阅读全文
摘要：1、grandfather: R-CNN网络 结构如下： 工作流程： Input(an image) Proposals(~2K个，在使用CNN提取特征之前还要先resize) feature maps 每类得分，再经过NMS筛选，再使用手工设计的回归器进行box regression； 缺点： （
阅读全文
摘要：这里说一下ROI Pool和ROI Align的区别： 一、ROI Pool层： 参考faster rcnn中的ROI Pool层，功能是将不同size的ROI区域映射到固定大小的feature map上，具体可实现可参考：https://www.cnblogs.com/zf-blog/p/7337
阅读全文
