05 2021 档案

摘要:前言: 归一化相关技术已经经过了几年的发展,目前针对不同的应用场合有相应的方法,在本文将这些方法做了一个总结,介绍了它们的思路,方法,应用场景。主要涉及到:LRN,BN,LN, IN, GN, FRN, WN, BRN, CBN, CmBN等。 本文又名“BN和它的后浪们”,是因为几乎在BN后出现的 阅读全文
posted @ 2021-05-30 21:01 CV技术指南(公众号) 阅读(967) 评论(0) 推荐(0) 编辑
摘要:前言: 在计算机视觉的论文中,常常看到一个部分是Ablation Study(消融研究)。这个部分想表达什么意思呢?有什么作用? quora上关于消融研究的解释:消融研究通常是指删除模型或算法的某些“功能”,并查看其如何影响性能。 在论文中一般来说会提出多个创新方法,或者新型结构模块,或注意力模块等 阅读全文
posted @ 2021-05-26 17:05 CV技术指南(公众号) 阅读(572) 评论(0) 推荐(0) 编辑
摘要:知识蒸馏是一种在繁琐的模型中提炼知识并将其压缩为单个模型的方法,以便可以将其部署到实际应用中。AI的教父Geoffrey Hinton和他在Google的两个同事Oriol Vinyals和Jeff Dean于2015年引入了知识蒸馏。 ​ 知识蒸馏是指将笨拙的模型(教师)的学习行为转移到较小的模型 阅读全文
posted @ 2021-05-26 17:02 CV技术指南(公众号) 阅读(1416) 评论(0) 推荐(0) 编辑
摘要:前言: 上一篇从社会的角度聊了聊我对计算机视觉未来走向的看法,提出的主要观点是未来计算机视觉需要扩展应用领域,研发新产品,去更好地为社会服务。具体而言,它可以与机器人、嵌入式设备和移动端结合,因此需要做到模型小型化、专一化和轻量化。 如何看待计算机视觉未来的走向 在这篇,接着这个观点从产品的角度聊一 阅读全文
posted @ 2021-05-17 23:51 CV技术指南(公众号) 阅读(182) 评论(0) 推荐(0) 编辑
摘要:前言: transformer在视频理解方向的应用主要有如下几种实现方式:Joint Space-Time Attention,Sparse Local Global Attention 和Axial Attention。这几种方式的共同点是采用ViT中的方式将图像进行分块,而它们之间的区别在于如何 阅读全文
posted @ 2021-05-12 23:42 CV技术指南(公众号) 阅读(1224) 评论(0) 推荐(0) 编辑
摘要:前言: 本文是何凯明在18年发表的论文,论文提出了BN中存在的问题,即模型性能受到Batch Size的影响,当batch size比较小时,模型性能退化严重,且BN的存在使得在受到内存限制的应用很难使用预训练。 本文基于这些问题提出了Group Normalization,GN很好地避免了这些问题 阅读全文
posted @ 2021-05-11 23:51 CV技术指南(公众号) 阅读(556) 评论(0) 推荐(0) 编辑
摘要:前言: 这是一篇19年何凯明发的论文,论文基于目标检测、实例分割和人体关键点检测三个方向进行了多项实验,比较了从零使用随机初始化开始训练与使用预训练进行fine-tuning的效果,并得出了一些结论。 在本文将介绍论文的主要思想,主要结论,一些细节和作者基于实验结论上的讨论。 论文: Rethink 阅读全文
posted @ 2021-05-07 12:22 CV技术指南(公众号) 阅读(469) 评论(0) 推荐(0) 编辑
摘要:前言: transformer用于图像方面的应用逐渐多了起来,其主要做法是将图像进行分块,形成块序列,简单地将块直接丢进transformer中。然而这样的做法忽略了块之间的内在结构信息,为此,这篇论文提出了一种同时利用了块内部序列和块之间序列信息的transformer模型,称之为Transfor 阅读全文
posted @ 2021-05-04 16:22 CV技术指南(公众号) 阅读(630) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示