会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
晓飞的算法工程笔记
博客园
首页
新随笔
联系
管理
订阅
2024年7月23日
OLOR:已开源,向预训练权值对齐的强正则化方法 | AAAI 2024
摘要: 随着预训练视觉模型的兴起,目前流行的视觉微调方法是完全微调。由于微调只专注于拟合下游训练集,因此存在知识遗忘的问题。论文提出了基于权值回滚的微调方法OLOR(One step Learning, One step Review),把权值回滚项合并到优化器的权值更新项中。这保证了上下游模型权值范围的一
阅读全文
posted @ 2024-07-23 13:29 晓飞的算法工程笔记
阅读(143)
评论(0)
推荐(1)
编辑
公告