随笔分类 - 深度学习
摘要：Boundary-induced and Scene-aggregated Network for Monocular Depth Prediction 这篇论文主要是做有监督深度估计，这里重点看了一下他的创新点和损失函数 创新点 针对创新点，主要遇到的一个问题是深度估计边缘不清晰，边缘处深度估计不
阅读全文
摘要：起因 今天和同组讨论了一下网络输出时，在torch.argmax之前经过torch.sigmoid和不经过sigmoid的区别。 主要起因是实验结果图像不同 图1 不经过sigmoid 图2 经过sigmoid 我们发现经过sigmoid预测的图像更加严格（实验结果证明，经过sigmoid效果好），
阅读全文
摘要：对于深度学习模型优化，通常从以下几点进行： 1、数据方面： 1）数据预处理：比如可以进行重采样；设置图像强度阈值。 2）数据增广：对于图像来说，可以对图像进行平移、旋转、镜像、添加噪声，改变对比度等方法进行数据扩充。这是一个对图像数据进行扩充的一些库：https://github.com/album
阅读全文
摘要：详细介绍这里，清楚的介绍了三种损失函数。我这里重点记录一下他们的异同，方便自己消化理解。 1、对于回归损失函数，通常主要有MSE（均方误差），MAE（平均绝对误差），Huber Loss。其中，Huber Loss（也叫smooth L1 Loss）是为了消除二者的缺点而提出来的。 2、通常MSE
阅读全文
摘要：图像分割是建立在图像分类和目标检测的基础之上。所以难度也要比图像分类要难。同时，两个任务在评价指标上其实也就存在一些相同，比如都会用到混淆矩阵，准确率，精确率，召回率，F1-score，IOU等评价指标，这些指标的计算我已经在之前图像分割评价指标介绍过了。下面就介绍一下图像分割中没介绍，但是在图像分
阅读全文
摘要：这两篇[1]【2】博客写的都非常详细。这里做个笔记记录一下。 HOG称为方向梯度直方图（Histogram of Oriented Gradient），主要是为了对图像进行特征提取。所以在传统目标检测算法中经常与SVM结合用于行人识别任务（当前都是基于深度学习来做了，毕竟效果不要太好了，并且省去了繁
阅读全文
摘要：主要是为了个人理解，做个笔记 1、Pytorch代码 2、论文出处 3、详细介绍 这篇论文在2018年发出来，而ShuffleNet是从2017年由旷视发出来。起初了解shufflenet的提出，主要是为了解决分组卷积所导致的不同分组间信息无法交流的问题，所以采用了channel shuffle操作
阅读全文
摘要：1、为了方便理解其本身结构，找到源码理解一下。 2、论文地址：http://arxiv.org/pdf/1801.04381.pdf 3、V2相比较V1增加了倒残差结构和线性瓶颈层。整个结构按照维度来看，类似一个中间宽，两边窄的结构。其中最后一层使用linear卷积（没有使用ReLU进行非线性激活，
阅读全文
摘要：来源 卷积： 输入尺寸 ，卷积核的大小为 * ，输出的尺寸大小为 参数量 （1）不考虑bias：（2）考虑bias： FLOPs （1）不考虑bias 解释：先计算输出的中一个元素需要的计算量，即括号这一部分，根据卷积的公式可知这部分为 * + * ,其中前一项表示做了的乘法次数，后一项表示这些乘法
阅读全文
摘要：今天记录一下个人关于Transformer中前馈神经网络（FFN）的一点理解。 第一点，我们知道，FFN之前是有一个多头注意力机制的模块。我们可以想想一下，如果这个模块直接输出，不经过FFN层会发生什么，要知道多头注意力（MH）是没有激活函数的，那么最后只有一个结果，那就是很多头的输出就是一个极为相
阅读全文
摘要：1、采用分类任务时，我们通常会采用逻辑回归算法，最关键的步骤就是将线性模型输出的实数域映射到[0, 1]表示概率分布的有效实数空间，其中Sigmoid函数刚好具有这样的功能。但是这通常只适用于二分类问题。要多多分类任务各个输出节点的输出值范围映射到[0, 1]，通常可以采用softmax。 2、所谓
阅读全文
摘要：看了《Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks》这篇论文，大致了解了CycleGAN的工作原理，为了更好的理解他损失函数的设计，结合提供的代码，我绘制了损失函数的流程图，并且用map
阅读全文
摘要：今天阅读了《An Image Patch is a Wave: Phase-Aware Vision MLP》这篇论文，根据代码绘制的它的结构图。如果有错误，还请指正。 Wave_MLP_B 2D图像任务参数量有点大。换成3D估计没的玩了。 参数量： 1) 我用他代码跑了一下2D的胃部分割实验，发现
阅读全文
摘要：想看一下对于一个训练好的模型，其每一层编码阶段的可视化输出是什么样子的。我以3Dircabd肝脏血管分割为例，训练好了一个U-Net模型。然后使用该模型在推理阶段使用，并可视化了每一层编码器。 分割结果： 可视化分为两个展示，分别是有原图和没有原图作为背景的。 无背景 encoder第一层 enco
阅读全文
摘要：对抗生成网络主要由生成网络和判别网络构成，GAN在图像领域使用较多。利用生成网络生成假的图像，然后利用判别器是否能判断该图像是假的。 1、用于医学图像分割，一般我们可以利用一个U-Net网络生成分割结果，但是结果或许分割的不是很好。我们这时候就可以利用GAN的优势。通过将分割的结果放入GAN网络中进
阅读全文
摘要：过拟合原因： 1. 训练集的数量级和模型的复杂度不匹配。训练集的数量级要小于模型的复杂度；（模型太复杂，参数就会太大，然而你的数据量又很小） 2. 训练集和测试集特征分布不一致；（用分类猫的训练集，去拟合分类狗的） 3. 样本里的噪音数据干扰过大，大到模型过分记住了噪音特征，反而忽略了真实的输入输出
阅读全文
摘要：《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》 1、Batch Normalization 并不能缓解深度网络梯度爆炸问题，反而是梯度爆炸的原因。一般通多跳跃
阅读全文
