会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
ZLey
博客园
首页
新随笔
联系
订阅
管理
2023年2月7日
DyTox Transformers for Continual Learning with DYnamic TOken eXpansion----阅读笔记
摘要: 摘要: 深度网络架构努力不断学习新任务而不忘记以前的任务。最近的一个趋势表明,基于参数扩展的动态体系结构可以在持续学习中有效地减少灾难性遗忘。然而,现有的方法存在一些弊端: (1)通常需要在测试时使用一个任务标识符; (2)需要进行复杂的调优来平衡不断增长的参数; (3)几乎没有在任务之间共享任何信
阅读全文
posted @ 2023-02-07 19:05 ZLey
阅读(211)
评论(0)
推荐(0)
编辑
公告