基于知识蒸馏的模型压缩和加速
动机：
目标：想要获得一个实时的模型，且尽可能的准确。
我们有一个大模型性能很好，但是很慢：
我们有个小模型速度很快，但是性能很差：
动机：面临的挑战
1、由于容量和能力，小模型很难达到一个很好的性能。
2、精确度和模型压缩之间的差距还是很大
3、物体检测比分类要困难得多：
a、 标签的计算更加昂贵
b、 类别不均衡
c、多任务同时需要分类和回归
4、直接应用蒸馏在检测模型上并不能很好的工作。
背景，前人的工作：
1、 大网络的加速
a、减少通道的数量 （训练前）
b、剪枝 （训练后）
c、low rank decomposition （低秩分解见下图）
HWS：高宽通道数。D越小越快，D越大总结信息能力越强。 resnet bottlenek 也是同样的道理，FC层也可以分解
压缩一个模型的步骤：
常用的张量分解方式是：Tucker 分解。将4维张量分解为4个小张量
还可以用SVD分解，就要将四位tensor转变成2维的向量，比如（D*D*R1, R2）2 、 进行SVD分解 3、 恢复成D*D的卷积核 和 1*1 的卷积核
2、 提高小网络的性能：
a、设计新的结构(squeeze Net, Binary connection)
b、知识蒸馏
知识蒸馏：
利用已经训练好的模型
用压缩之前的模型作为老师，压缩之后的模型作为学生。
如何模仿呢？
Hints的方法是，老师的分类标签当成人为设定的标签来用。
当然，有人也探索过别的方法，不用标签用标签的前一层，去模仿老师的神经元，而不是模仿标签。
传统标签是one hot。 老师给出的标签只给出概率值。
qi: 是老师给出的每一类的可能性，Zi 是老师预测最终一层的神经元。第i类神经元的指数处以所有神经元的指数
T ：温度软化神经元。不会跟人工给的标签一模一样。放大老师的标签，含有丰富的信息量。
为什么要放大呢？
因为老师的标签中可能含有人工标签没有的信息。image中的汽车预测正确的概率是90%，预测成卡车的概率10%，汽车卡车相似性要远高于汽车和人。但是传统标签中汽车预测称人和汽车预测成卡车的概率都是0
但是老师会捕捉到这一点，可以学到人类没有给出但是确实成立的信息。
基于目标检测的模型蒸馏（景驰）：
挑战？ 1 分类问题+回归问题
2 在大规模数据集上证明其有效性
1、 成功的应用了知识蒸馏对于多类别物体检测问题
2、 提出了新的LOSS函数对于物体检测任务
3 、 在不同的dataset上验证了方法
4、 分析了只是蒸馏的方法在什么条件下是管用的，为什么管用，且解决了神经网络训练中的哪些问题
模型：
1、目标检测使用的比较传统的fastrcnn，wo stage：
a、 随机产生框，不同比例和大小，先用一个网络判断是否有物体，选择很可能物体的框，（RPN网络）
b、 再把框放回一个分类网络中 解决是什么物体的问题（rcnn 区域分类网络）
在分类的过程中每个框由两部分：1、是否是背景还是有物体，车 还是交通灯？
2、调整大小和位置
2、在知识蒸馏中，分类和回归都要作为学生学习的目标，不仅仅要学习标签，还让学生网络去学习中间层的一些信息，被证明是很有效的。
例如：下图中上面非常长的是teacher网路，蓝色的是标签
学生网络：
一方面要学生把老师的输出去学习
另一方面学生的中间层（下图第一块紫色）去尽量模仿老师的某一层。
模仿标签时候，是把老师的标签和学生标签放到一起，接入到一个目标函数，计算反向传播
在模仿中间层的时候并不是直接接目标函数，而是中间加了一个适应层，通过这个适应层使得学生和老师的神经元进行匹配
原因呢？
1、老师和学生尽管有联系，但并不是一一对应的。例如：学生网络比较浅，同一层的神经元看到的区域比较小，老师的一个神经元看到的区域比较大，比较深，直接去匹配是不合适的。
需要进行一些领域的迁移，方便学到有用的信息。
2、卷积网络分卷积层和全连接层。卷积层是一一对应，全连接层是顺序打乱的。
学生和老师每一层里面的神经元，统计上携带的信息可以相比，但是顺序未必是一一对应的，所以要+1层，使其顺序对应。
目标函数：
详细来看呢？ Lhard 表示的是：从人工给的标签中学习
Lso'f't 表示的是：从老师给的标签中学习
Lsoft使用的是类似交叉熵，但是给每一类加了不同的权重。是因为目标检测问题和分类问题是不同的：负类远多于正类
回归问题：
不能使用交叉熵，甚至于不能直接使用老师给出的标签。
例如：对于分类问题某个框 70%的概率是一张脸，只盖住了脸的70% 其余是背景
但是对于回归问题：老师给出的是：往右挪10cm才能盖住脸，人给的标签显然是更精准的，老师给的最精准的也无非是挪10cm刚好盖住脸
因此把老师给的当作标签是不合理的。
怎么利用老师给的信息呢？
可以把它当成一个下届来用。比如：当学生预测的比老师还要远的时候，老师预测 老师和人工给的目标更近 ，这个学生做得很差，加倍改正错误
如果学生做的比老师好，就不需要额外的结构学习更多的东西了
所以在这里用了一种把老师的信息当作下届来使用。
学习中间神经元的目标函数：
L2 loss 距离的平方来做的，通过适应层以后，让学生神经元模仿老师神经元的输出。
分析是否知识蒸馏只对特定的老师和学生有用？
比如说：压缩网络得到一个学生，学生参数和老师理应相同，如果是完全不同的网络结构，就不合理了呢？
还有，假设学生和老师的输入是一致的，得到一致的输出,如果不一致呢？
学生在压缩到多少的时候方法管用，压缩的范围是？
工作的流程是：
1，训练一个比较好的网络，来当作老师
2，压缩网络，用SVD或者tucker分解 来压缩
3，最好用imagenet 预训练一个浅层的学生网络
4，用比较深的网络引导学生的训练
下图是将方法，加在不同的学生老师 和不同的数据集上的结果：
最左边是用的经典学生网络：ALEX 7层 VGG是用到最复杂的结构 VGGM 是 VGG16的简化版
Tucker ，是前面提到用tucker分解 压缩alexnet得到的网络结构
第二列是：对于一个学生用不同的老师
可以看到，随着老师越来越好，学生能提高到的精确性也越来越好，例如：Tucker 如果使用VGG16作为引导可以将pascal数据集上精度提升到54.7到59.4 4.7个点
这个数值和老师的70.4 还是有差距，毕竟很深，容量大太多了
有意思的是PASCAL和KITTI都是小数据集，几千到1W
COCO 和ILSVRC 几万到十几万
可以看到，在小数据集上提升很大，在大数据集上提升小，某些情况下还挺大。说明了容量其实是有极限的，知识蒸馏可以帮助召回一些精度，但是很难和复杂网络相媲美
之前提到了很多知识蒸馏的策略，比如：
1、对交叉熵进行加权
2、对于回归问题作为一个上届
3、网络中加一个适应层，去匹配老师的神经元和学生的神经元
下图说明了这些操作有没有效果，现在小数据集上进行测试，再投放大数据集
第一列是baseline：
第二列是在回归任务中，直接让学生模仿老师，会损害精度，是不如人工给的标签精确的
第三列是把老师作为上届之后提升不少。
后面是是否给分类权重
在后面是去模仿老师神经元的时候，要不要加适应层。
合到一起把之前所有的方法，可以得到最好的精度
下图是：模型大小和精度之间的关系：
就是蒸馏的极限在哪里？
压缩网络的极限在哪里？什么压缩比，速度和精确性更好的均衡。
所以使用的Tucker
FLOPS 代表的是运算量，FLOPS 20%代表 保留20%的运算量
随着压缩比的提升，实际上知识蒸馏随着压缩比的提高，效果是增加的，比如压缩比在25%的时候，效果提升了+6.1 ，45是只提升+4.3
但是模型容量太小，也不行，只能进行有限的提升
学生和老师的输入是相同，模仿行为是合理的
但是学生和老师输入不相同呢？
都用alexnet 老师看高分辨率的 学生看低分辨率的。毕竟改变大小是提升速度最有效的办法。
可以看到不管是用alexnet作为老师和学生还是压缩过的模型作为老师和学生都有提高
分析一下背后的原理：
为什么知识蒸馏对学生网络会有提升呢？
1、 老师会通过很深的网络学到人类并没有给出但是确实存在的信息。比如：车和卡车更像，和8更像
但是学生网络不能总结出这些信息，让老师交给他，跟容易分类它能力之外的情况
所以它的泛化能力也会相应变强
标签学习为什么会起作用？（知识蒸馏）
知识蒸馏是把网络的输出当成一个标签来用，给出暗藏的信息
但是为什么模仿神经元也是有效的呢？
神经元很难说携带什么信息，每一个卷积对图像不同的位置是有特定的反应的。比如，有些对人脸，有些对电视机
通过模仿神经元的行为，就可以感知到老师是怎么看待这张图像的。
学生网络太浅了，是欠拟合的，训练数据都不能分对，老师欠拟合程度会少一些。
所以：模仿神经元可以帮助学生解决欠拟合的问题，得到更多的信息绕过局部最小和鞍点。
总结一下：
为什么知识蒸馏有用的时候，提到了老师会提供隐含的信息，人类没有给的信息，学生有了这个这个信息以后拟合人类标签的程度是会降低的，解决过拟合问题
模仿神经元解决的是欠拟合的问题。
推测：
如果网络面临是过拟合问题，越教他，在训练集上的表现会越差，至少不会改进
如果欠拟合的问题，对训练集的拟合程度是加深的，也就是说会更加贴合到人类给的标签上去。
但是在实际训练过程中，比如目标检测问题可能同时存在过拟合和欠拟合问题，因为目标检测既要分对前景背景 和 是人是狗，这俩问题同时存在。
所以就做了相应的测试来验证：
知识蒸馏会提升测试的准确性，但是训练的准确性不一定提升。
隐藏神经元学习两个都会提升
得出的结论和预测是一致的：
下图看到在一大一小两个数据集上，知识蒸馏提升了测试的效果，没有提升训练的效果，或者提升很小
模拟神经元会同步的提升
之前提到了过拟合的问题，过拟合解决办法是dropout，用我们的方法（知识蒸馏）和dropout进行对比，下面的绿线是没有知识蒸馏的，也不用模拟神经元，可以看到dropout对他的影响还挺大的，目标检测的最佳比例是0.15. 图像分类最佳是0.5
上面的蓝线是，用了知识蒸馏调节dropout。
可以看到，在不用知识蒸馏和隐藏学习的情况下dropput 影响挺大的，相差了将近0.7.但是用了知识蒸馏相差在0.1，0.2以内，可以下结论说知识蒸馏确实起到了防止过拟合的作用。
但是更严重的欠拟合，模拟神经元有没有提升精度呢？ 更快的更精确的拟合人类给的标签
补充：压缩模型的方法，还有很多其他方法，还有很流行的mobilnet和shufflenet。
知识蒸馏和模型压缩是互补的，为了在压缩之后提升精度，这是在不改变任何网络结构的情况下的免费提升
论文的题目：
FAQ： NEC公司决定 代码无法开源
适应层： 并不一定是1*1的卷积层 conv 或者 deconv 比较灵活的层 ，按照 FM size而定，让T和S的神经元数量相匹配
RPN 的标签，分类 ：二分类 回归： 框 的回归
RPN 和 RCN的区别是 ：一个2分类，一个N+1分类
L2的位置经验：
不要用太浅的层即可
蒸馏网络的温度，使用与出了softmax的其他分类和回归吗？ 回归不能直接学老师的
T 二分类问题尽量不要用，应为没有很多隐藏的空间
YOLO也可以在顶层进行蒸馏的，1.2-1.6 如果只对顶层的蒸馏，高度抽象的信息，目标检测有很严重的欠拟合，不一定只对顶层做蒸馏。
