随笔分类 - 科研1_文章
总结
摘要：Online Continual Learning with Maximally Interfered Retrieval 阅读笔记 摘要： 本文主要提出了一种可控的样本采集策略的重放方法。我们检索受干扰最大的样本，即它们的预测将受到预测参数更新的最大负面影响。 1 Introduction 人工神
阅读全文
摘要：摘要： 本文是针对持续学习方法中的重放方法进行改进，重放方法的内存大小决定了优化性能。本文提出了新的经验重放的方法，通过查询显著性图来挑选经验存入内存，由显著性图引导，把对模型决策影响很大的输入图像的部分或者patch存入内存中，在学习一项新任务时，我们用适当的零填充来回放这些内存patch，以提醒
阅读全文
摘要：摘要： 在缺少明确的任务边界和任务标识的情况下，本文探索了task-free continual learning（任务具有独立的数据标签空间，在训练和测试的过程中不提供任务识别符）, 在这个场景中需要一个可以避免灾难性遗忘的模型。在众多针对task-free CL的方法中，一个著名的方法家族是基于
阅读全文
摘要：摘要： 深度强化学习已经成为各种学习任务的强大工具，然而，深度网络在连续学习多个任务时通常表现出遗忘。为了减少遗忘，**我们提出了一个经验重放过程，以增强标准的FIFO缓冲区，并选择性地将经验存储在长期记忆中。 ** **我们探索了四种选择将存储哪些体验的策略：偏爱惊喜，偏爱奖励，匹配全局训练分布，
阅读全文
摘要：摘要： 深度网络架构努力不断学习新任务而不忘记以前的任务。最近的一个趋势表明，基于参数扩展的动态体系结构可以在持续学习中有效地减少灾难性遗忘。然而，现有的方法存在一些弊端： （1）通常需要在测试时使用一个任务标识符； （2）需要进行复杂的调优来平衡不断增长的参数； （3）几乎没有在任务之间共享任何信
阅读全文
摘要：Continual Learning with Lifelong Vision Transformer 阅读笔记 摘要： 在本文中，我们提出了一种新的基于注意力的框架 Lifelong Vision Transformer（LVT），以实现更好的稳定性-可塑性权衡的持续学习。具体的，LVT提出了一种
阅读全文
摘要：CONTINUAL LEARNING IN VISION TRANSFORMER 阅读笔记 摘要： 持续学习的目标是从新数据中持续学习新任务，同时保留过去学习的任务的知识。最近，利用最初在计算机视觉自然语言处理中提出的Vsion Transformer，在图像识别任务中显示出比卷积神经网络（CN
阅读全文
摘要：AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE 阅读笔记 摘要 虽然 Transformer 架构已成为 NLP 任务的事实标准，但它在 CV 中的应用仍然有限。在视觉上，注意力要么与卷积网络结
阅读全文
摘要：Continual Learning with Transformers for Image Classification 阅读笔记 摘要： 阻止灾难性遗忘是一件很困难的事，一个最近的研究趋势是动态扩展参数可以有效的减少灾难性遗忘。但是这需要复杂的微调来平衡增长的的参数，且任务中的信息也很少共享。本
阅读全文
