摘要：
1.知识蒸馏介绍 2. 知识蒸馏思想 3.知识蒸馏方法 4.在大数据集上训练专家集成模型 作业 1：推导：推导证明利用logits优化是知识蒸馏的特殊形式 2：文字回答：在知识蒸馏中，温度T的作用是什么？ 为了从教师网络中蒸馏出更多，更丰富的信息，引入温度参数T的概念，T越大，网络输出类别概率分布越 阅读全文
摘要：
1.Inception网络发展 2.Xception网络结构 作业 1：文字回答：Xception中继承了哪些来自Inception系列的思想？又有哪些改进？ 继承：使用1x1的卷积 使用两个3x3卷积来代替一个5x5卷积 加了BN层 。 改进：去掉池化层，得到简化版本的Inception modu 阅读全文