2021年3月11日
从Softmax到知识蒸馏--读论文《Distilling the Knowledge in a Neural Network》
摘要： #Softmax 在神经网络训练中，最后一层往往是全连接层接Softmax输出，而最近读的论文《Distilling the Knowledge in a Neural Network》也将Softmax层加入了温度系数实现蒸馏。这里简单介绍Softmax层的意义，并且写下我对知识蒸馏这篇经典论文的 阅读全文
posted @ 2021-03-11 18:01 Sanhao99 阅读(462) 评论(0) 推荐(1) 编辑