Achieving a Better Stability-Plasticity Trade-off via Auxiliary Networks in Continual Learning论文阅读笔记

摘要

连续学习过程中的稳定性-可塑性权衡是一个重要的问题。作者提出了Auxiliary Network Continual Learning (ANCL)，通过auxiliary network提高了模型的可塑性。

方法

The Formulation of Auxiliary Network Continual Learning

传统的continual learning方法通常是在新数据集上训练模型，同时使用旧模型对其进行约束，然而这会降低模型的可塑性。为此，作者提出了ANCL，使用额外的auxiliary network约束模型，使模型能够自然地将新旧特征的表示合并，ANCL能够很方便地与其它方法进行结合。
ANCL与之前的AFEC相似，作者特别探讨了这两者的不同之处，即ANCL的正则化方式与方法相关，而AFEC的正则化方式基于Fisher信息矩阵（约束的是模型权重的变化），且ANCL使用的是两个相同的正则化器（更有可能达到最佳均衡状态，证明在附录D）。

算法

实验

Stability-Plasticity Trade-off Analysis

～～～