摘要:
Batch Normalization 论文地址:https://arxiv.org/pdf/1502.03167.pdf 概念解释 Batch Normalization 就是批归一化,就是对数据做标准化处理。 上图表示的意思是: 求每一个批次特征变量的均值和方差,再对之进行标准化。 Intern 阅读全文
摘要:
Knowledge Distillation 论文地址:https://arxiv.org/pdf/1503.02531.pdf 知识蒸馏指的是一种模型的压缩方法。 知识蒸馏的方式就是将Teacher Network输出的soft label作为标签来训练Student Network。 比如在上图 阅读全文