08 2020 档案
摘要：dynamic inference指的是根据输入调整预测的过程，通过对简单样本减少计算开销来减少总的开销。这篇文中就是dynamic inference方面的一个工作。将静态CNN模型转换为支持dynamic inference的模型后，通过NAS进行搜索，这种方法可以generalize到大部分的
阅读全文
摘要：作者的前两篇文章分别探讨了如何训练一个可以slim到指定宽的的网络以及如何训练一个可以选取任意子宽度的网络。在这篇文章中，作者试图解决的问题是对于给定的配置，选取各层最优的网络宽度。 目前对于网络宽度的选择主要依靠经验，如"half size, double channel"rule, pyrami
阅读全文
摘要：作者在Slimmable Neural Networks这篇文章中研究了训练宽度可实时变化的网络的方法，但那篇文章中的宽度是训练时指定好的固定的宽度。在这篇文章中作者提出一种训练universally slimmable networks（USNet）的方法，运行时可以选择某个范围中的任意宽度，并且
阅读全文
摘要：NIPS2018的一篇文章，探究Batch Normalization起作用的背后原因。作者的结论是BN对缓解ICS问题作用非常微弱，BN的作用在于使得优化过程的landscape更光滑，其他的一些归一化方法也可以达到这样的效果。 Batch Normalization通过增加额外的层，控制层输入的
阅读全文
摘要：图像超分任务可以看作是试图从LR图像中恢复尽可能多的高频信息。在SR任务中，输入的LR图像包含了丰富的低频信息。但是之前的任务把不同channel都同等对待，限制了CNN的表达能力。因此文中在EDSR的基础上结合了channel attention机制，构建了residual in residual
阅读全文
摘要：在这篇文章之前，陆续有了一些使用深度学习网络进行SR任务的工作，但是这些以提升PSNR为目标的深度神经网络存在几点问题： 网络表现对于网络结构很敏感，不同的初始化和训练方法对表现得影响也很大。这就使得模型的设计和优化策略的选择变得非常重要。 目前的SR算法都把不同放大因子的问题看作是独立的问题，没有
阅读全文
摘要：CNN的一个问题是他不具备空间不变性。所谓空间不变性就是对input进行shift变换，得到的结果也是经过了相同shift变换的。某个可以识别出某个特征的filter，如果input放大实际上这个filter是无法识别出这个特征的。CNN网络可以识别出放大后的某个类别仅仅是因为训练集数据中包含了放大
阅读全文
摘要：提出了利用channel信息的SE(squeeze and excitation)模块，可以很大程度地提升表现而增加极少的计算消耗。 SE block 输入$X$经过了卷积操作$F_{tr}$后得到了特征图$U$。$u_c=v_c*X=\sum_{s=1}^{C'}v_c^s*x^s$，特征图中的值
阅读全文
摘要：项目地址：https://github.com/JiahuiYu/slimmable_networks 不同的移动设备具有不同的存储资源和计算能力，同一个算法在不同设备中所需的时间是不同的。即使是同一个设备，也会由于运行的程序、电量等原因，造成分配给模型的资源有所不同。在移动设备上，我们通常对于算法
阅读全文