模型加速（三）知识蒸馏
摘要：
知识蒸馏：Teacher Model产生soft label作为student model的一项指引；关联通过损失函数构建，即包含teacher model产生的标签 q，也包含真值标签y；teacher model产生的soft label相较于真值标签会多一层类别之间相似性的信息，而不仅仅是真值标签y是与不是的问题。 阅读全文
posted @ 2020-07-04 14:29 墨殇浅尘 阅读(1631) 评论(0) 推荐(2) 编辑