随笔分类 -  论文阅读笔记

CVPR 2022 | 解耦知识蒸馏
摘要：#CVPR 2022 | 解耦知识蒸馏 近年来，SOTA蒸馏方法多基于网络中间层的深层特征，而基于logit的KD(知识蒸馏)则被忽略。 旷视科技、早稻田大学、清华大学的研究者研究了传统KD的局限之处后，给logit蒸馏的研究提出了新的方法。 作者证明传统KD的损失函数存在耦合，该耦合限制了logi 阅读全文
posted @ 2022-06-08 22:33 万国码aaa 阅读(668) 评论(0) 推荐(0) 编辑
CVPR 2022 | 细节还是伪影：用于现实图像超分辨率的局部判别学习
摘要：#CVPR 2022 | 细节还是伪影：用于现实图像超分辨率的局部判别学习 单图超分辨率（SISR）领域，从像素保真度角度，即以诸如PSNR、SSIM为判别指标的重建方法，效果已经很好。但是从人类视觉角度，会发现有些重建图片虽然像素保真度高，可是视觉效果不好。具体来说就是，基于DNNs重建的图片，视 阅读全文
posted @ 2022-05-24 16:03 万国码aaa 阅读(2978) 评论(0) 推荐(0) 编辑
CVPR 2022 | 重用教师网络分类器实现知识蒸馏
摘要：CVPR 2022 | 重用教师网络分类器实现知识蒸馏 知识蒸馏（KD）致力于将性能好但消耗大的重型网络压缩成轻量化网络。 为了弥补教师-学生网络的性能差，需要想办法对齐教师网络和学生网络在相同输入下的输出能力。 近些年的方法基本上都基于教师网络中间层，利用中间层特征给学生网络额外的监督或者精心设计 阅读全文
posted @ 2022-05-21 12:04 万国码aaa 阅读(948) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示