随笔分类 - CNN
摘要:本文总结了目前依然常用常见的卷积神经网络的特点,仅作为复习使用,具体细节建议阅读原论文 ①Resnet 1. 拟合残差,网络退化或者消失的主要原因是多个非线性层无法构建恒等映射,解决方法之一就是引入残差。让模型内部至少有恒等映射的能力。 2. resent可以看作是路径的集合,类似集成模型,从输入到
阅读全文
摘要:卷积相关计算 卷积层计算 feature maps 和中间结果内存访问次数 卷积层的输入是 224x224x3 ,把所有这些值读出来需要访问 150,528 次内存。 如果卷积核是 KxKxCout ,还要乘上这个系数(因为每次卷积都要访问一遍)。 以 stride=2, 卷积核个数为32为例,输出
阅读全文
摘要:moblienetv1、moblienetv2、mobilenetv3发展历程 参考知乎大神R.JD,总结的非常到位:https://zhuanlan.zhihu.com/p/70703846utm_source=wechat_session&utm_medium=social&utm_oi=973
阅读全文
摘要:调用形式: self.conv2 = nn.Conv2d(expand_size, expand_size, kernel_size=kernel_size, stride=stride, padding=kernel_size / 2, groups=expand_size, bias=False
阅读全文
摘要:卷积核的参数量和计算量 卷积计算量 通常只看乘法计算量: 标准卷积方式 C代表通道数,Ci输入通道数,C0为输出通道数。H*W为长宽 如下图;当前特征图Ci * H * W ,把特征图复制C0个,分别与3*3*Ci的卷积核进行卷积,输出特征图大小C0 * H * W, 用C0个3*3*Ci的卷积核进
阅读全文
摘要:resnet 由于f(x)+x是逐通道相加,所以要判断通道数是否相同,存在两种bottleneck,通道数不同时,需要对x进行downsample,使用1*1的卷积改变。 densenet 每个bottleneck输出的特征通道数是相同的,一般为32,这个值也称为growthrate. densen
阅读全文
摘要:多尺度检测(不同的idea) (特征金字塔)(空间金字塔池化)(带洞空间金字塔池化)(融合深浅层特征) 检测和分割中的例子 分割: sppnet中的spp空间金字塔池化结构;(spatial pyramid pooling) pspnet中的pyramid pooling moudle结构,综合讲是
阅读全文
摘要:1.降维或升维,减少参数量 通过1*1卷积核的个数,来控制输出的通道数也就是维度 通过一次卷积操作,W*H*6将变为W*H*1,这样的话,使用5个1*1的卷积核,显然可以卷积出5个W*H*1,再做通道的串接操作,就实现了W*H*5 对于某个卷积层,无论输入图像有多少个通道,输出图像通道数总是等于卷积
阅读全文
摘要:pytorch快速加载预训练模型参数的方式 针对的预训练模型是通用的模型,也可以是自定义模型,大多是vgg16 , resnet50 , resnet101 , 等,从官网加载太慢 直接修改源码,改为本地地址 1.直接使用默认程序里的下载方式,往往比较慢; 2.通过修改源代码,使得模型加载已经下载好
阅读全文
摘要:加入带洞卷积的resnet结构的构建,以及普通resnet如何通过模块的组合来堆砌深层卷积网络。 第一段代码为deeplab v3+(pytorch版本)中的基本模型改进版resnet的构建过程, 第二段代码为model的全部结构图示,以文字的方式表示,forward过程并未显示其中 打印出的mod
阅读全文
摘要:Xception网络是由inception结构加上depthwise separable convlution,再加上残差网络结构改进而来/ 常规卷积是直接通过一个卷积核把空间信息和通道信息直接提取出来,结合了spatial dimensions和channels dimensions;xcepti
阅读全文
摘要:采用多个小卷积核代替大卷积核,inception结构:使用两个 3x3 卷积核来代替 5x5 卷积,效果上差不多,但参数量减少很多,达到了优化的目的。不仅参数量少,层数也多了,深度也变深了; 还有分解版本的 3x3 = 3x1 + 1x3,这个效果在深度较深的情况下比规整的卷积核更好。 采用先降维后
阅读全文
摘要:全局平均池化与全连接对比 输出对比 全局平均池化就是把特征图全局平均一下输出一个值,也就是把W*H*D的一个张量变成1*1*D的张量。 常用的平均池化,平均池化会有它的filter size,比如 2 * 2,全局平均池化就没有size,它针对的是整张feature map. 例如:把一个100*1
阅读全文
摘要:resnet残差网络模型结构的简单理解 一、提出 通常在深度学习中,越深的网络结构越能获得更具有代表性的特征,但是在网络层数加深的时候往往会出现梯度消失和梯度爆炸的问题, 问题主要是网路越深的时候变化量越小,梯度就逐渐消失,所以就提出学习残差来代替学习原始信号。 残差网络提出就是为了解决怎样在加深网
阅读全文
摘要:感受野就是输出的feature map中的一个像素点对应到输入图像的映射;下图中特征点(绿色和黄色)对应的阴影部分即为感受野。 左边的图为正常的普通卷积过程;右边的为输入和输出大小一样的卷积过程,采用的方法是在得到的feature map中的特征点之间加入0(与带洞卷积类似,但不是一样的) 右边的好
阅读全文
摘要:具体来说, 卷积神经网络有一个批量过滤器, 持续不断的在图片上滚动收集图片里的信息,每一次收集的时候都只是收集一小块像素区域, 然后把收集来的信息进行整理, 这时候整理出来的信息有了一些实际上的呈现, 比如这时的神经网络能看到一些边缘的图片信息, 然后在 以同样的步骤, 用类似的批量过滤器扫过产生的
阅读全文