ice猫猫3

2021年7月26日

第二种（[conv-relu]-[conv-relu]-[conv-relu]-pool）比第一种（[conv-relu]-[conv-relu]-pool）多了一个[conv-relu]的原因

摘要： ①relu角度有点类似传统特征工程中，已有的特征在固定的模型下没有性能提升了，那就用更多的非线性变换对已有的特征去做变换，产生更多的特征的意味；多出的relu对网络中层进一步压榨提炼特征。结合一开始单张 feature map 的 local 信息更多一些，还没来得及把信息分摊到 channel 阅读全文

posted @ 2021-07-26 16:33 ice猫猫3 阅读(291) 评论(0) 推荐(0) 编辑

vgg/Alexnet最后三组全连接层fc的理解

摘要：前面的5组pooling层： feature map 的** width 和 height** 随着每个pool操作缩小50%，5个pool 操作使得 width 和 height 逐渐变化：224->112->56->28->14->7，但是深度depth（或说是channel数），随着5组卷积阅读全文

posted @ 2021-07-26 11:10 ice猫猫3 阅读(562) 评论(0) 推荐(0) 编辑

1×1卷积的特点

摘要： filter 1×1(源自Network in Network )， ①输入输出channel数相同，可以看作是输入的线性变换，但是增加了非线性(∵后面跟着的relu层) ②对feature map降维/升维(∵输出的channel数=核数) 对 feature map 的channel级别降维或升阅读全文

posted @ 2021-07-26 10:03 ice猫猫3 阅读(280) 评论(0) 推荐(0) 编辑

2021年7月24日

平均全局池化

摘要：定义：将特征图所有像素值相加求平局，得到一个数值，即用该数值表示对应特征图。目的：替代全连接层应用：若最终分成10类，则最后卷积层应包含10个滤波器（即输出10个特征图），然后按照全局池化平均定义，分别对每个特征图，累加所有像素值并求平均，最后得到10个数值，将这10个数值输入到softmax层阅读全文

posted @ 2021-07-24 20:37 ice猫猫3 阅读(287) 评论(0) 推荐(0) 编辑

2021年7月23日

pooling层,,以及它是否需要被替代？？

摘要：在CS231n里讲到现在也在逐渐不使用 pooling，因为发现完全可以使用一个 stride 不等于1的卷积来代替pooling， **另外，不少工作，如生成模型（generative models）、对抗网络（adversarial networks）、变分自动编码器（variational 阅读全文

posted @ 2021-07-23 20:59 ice猫猫3 阅读(94) 评论(0) 推荐(0) 编辑

奇数卷积核和偶数卷积核，为啥用奇数

摘要：奇数卷积中心对称，而偶数卷积在实现时没有对称点，这将导致在实现时卷积利用的信息不能是各个方向的，只能是左上或其他方向，因此整体将会导致feature map往一个方向偏移。如果是4×4的卷积核，可以说 4×4 因为是偶数，中间没有感受野中心，但是也可以说 4×4 有 4 个感受野中心，也可以捕捉上阅读全文

posted @ 2021-07-23 13:21 ice猫猫3 阅读(306) 评论(0) 推荐(0) 编辑

卷积核越大，参数量增长不大，但是计算量是恐怖的

摘要：计算了同样conv3x3、conv5x5、conv7x7、conv9x9和conv11x11，在224x224x3的RGB图上（设置pad=1，stride=4，output_channel=96）做卷积，卷积层的参数规模和得到的feature map的大小：看来大卷积核带来的参数量并不大（卷积核阅读全文

posted @ 2021-07-23 10:22 ice猫猫3 阅读(476) 评论(0) 推荐(0) 编辑

大的kernel size、大的stride导致？

摘要：局部信息因为过大的重叠，会造成更多细节信息的丢失。 stride 为4，对于11×11的kernel size而言，中间有很大的重叠，计算出的3×3区域每个值很过于受到周边像素的影响，原始的特征多少有被平滑掉的感觉阅读全文

posted @ 2021-07-23 10:04 ice猫猫3 阅读(275) 评论(0) 推荐(0) 编辑

2021年7月22日

深度学习训练模型中的 train from scrath是啥

摘要： from scrath 在英文中的意思就是“从零开始、从头开始、白手起家”，引申过来就是不使用预训练文件而直接进行训练。阅读全文

posted @ 2021-07-22 14:27 ice猫猫3 阅读(202) 评论(0) 推荐(0) 编辑

14年的RCNN主要是一个观点：迁移学习

摘要：分析的原文用来做目标检测和语义分割的神经网络。观点：缺乏大量的标注数据时（maybe数据库小），比较好的可行的手段是，进行神经网络的迁移学习，采用在其他大型数据集训练过后的神经网络，然后在小规模特定的数据集中进行 fine-tune 微调。迁移学习：将一个问题A（有好多数据量）上训练好的模型通阅读全文

posted @ 2021-07-22 13:53 ice猫猫3 阅读(55) 评论(0) 推荐(0) 编辑

公告