摘要:
前几日,华为诺亚,北京大学,悉尼大学共同发表了论文《A Survey on Visual Transformer》,本文针对其重点内容进行翻译概括如下。文末附论文原文和本文完整版下载方式。 导言: Transformer是一种主要基于自注意力机制的深度神经网络,最初是在自然语言处理领域中应用的。受到 阅读全文
摘要:
导言: transformer在这两年大火,CV界广泛应用transformer模型,充分吸收其idea到自己的领域。考虑到transformer本是应用于NLP的论文,其中很多内容都形成了共识,因此在论文中并未提及,就好像CV中论文提到图像预处理使用center crop , color jitt 阅读全文
摘要:
导言: 传统的卷积网络在一个前向过程中每层只有一个连接,ResNet增加了残差连接从而增加了信息从一层到下一层的流动。FractalNets重复组合几个有不同卷积块数量的并行层序列,增加名义上的深度,却保持着网络前向传播短的路径。相类似的操作还有Stochastic depth和Highway Ne 阅读全文
摘要:
Inception系列之Inception_v1 MobileNet系列之MobileNet_v2 MobileNet系列之MobileNet_v3 引言: Inception_v2和Inception_v3是在同一篇论文中,提出BN的论文并不是Inception_v2。两者的区别在于《Rethin 阅读全文
摘要:
MobileNet系列之MobileNet_v1 MobileNet系列之MobileNet_v2 导言: 继MobileNet_v1和v2提出后,在2019年,MobileNet_v3在众人的期盼下出来了,MobileNet_v3论文提出了两个模型,MobileNet_v3-Large和Mobil 阅读全文
摘要:
ShuffleNet系列之ShuffleNet_v1 MobileNet系列之MobileNet_v2 Inception系列之Batch-Normalization 导言: 目前一些网络模型如MobileNet_v1, v2,ShuffleNet_v1, Xception采用了分组卷积,深度可分离 阅读全文
摘要:
导言: shuffleNet_v1在MobileNet_v1后,MobileNet_v2前提出。ShuffleNet系列也是针对移动端部署而提出的模型。 ShuffleNet_v1结合了深度可分离卷积和分组卷积,提出了包含pointwise group convolution 和channel sh 阅读全文
摘要:
MobileNet系列之MobileNet_v1 Inception系列之Inception_v1 Inception系列之Batch Normalization Inception系列之Inception_v2-v3 Inception系列之Inception_v4 导言: MobileNet_v 阅读全文
摘要:
导言: Non-Maximum Suppression(NMS)非极大值抑制,也有个别地方称之为非最大值抑制。个人认为前者更为贴切,因为其具体实现原理是找到所有局部最大值,并抑制非局部最大值,而不是找全局最大值,后文会介绍代码。从字面意思理解,抑制那些非极大值的元素,保留极大值元素。其主要用于目标检 阅读全文
摘要:
Inception系列之Inception_v1 Inception系列之Inception_v2-v3 训练深度神经网络非常复杂,因为在训练过程中,随着先前各层的参数发生变化,各层输入的分布也会发生变化,图层输入分布的变化带来了一个问题,因为图层需要不断适应新的分布,因此训练变得复杂,随着网络变得 阅读全文