论文笔记——Deep Model Compression Distilling Knowledge from Noisy Teachers
论文地址：https://arxiv.org/abs/1610.09650
主要思想
这篇文章就是用teacher-student模型，用一个teacher模型来训练一个student模型，同时对teacher模型的输出结果加以噪声，然后来模拟多个teacher，这也是一种正则化的方法。
1. teacher输出的结果加噪声以后，然后和student的输出结果计算L2 loss，作为student网络的反馈。
2. 加噪声
3. 计算L2 loss
4. 反向传播，更新参数
5. 算法过程
- 注意：加噪声的时候对输入进行了采样，不然直接全加也太暴力了吧。
等价于基于噪声的回归
实验结果
1. 对比了不同噪声比例对结果的影响，其实就是调参的过程。
2. 比较了学生加噪声和教师加噪声，结果是教师加噪声效果更加明显。
3. 比较了教师加噪声和一般的正则化操作(dropout)
总结
本文想法比较简单，就是给teacher输出结果加噪声，美曰其名，learn from multi teachers.
