机器学习（李宏毅）——终身学习笔记

Life Long Learning

问题背景

Life long learning通常写为LLL，别名：Continuous Learning、Never Endig Learning以及Incremental（递增的、渐进的） Learning。

难点：

本来学完task1以后即使直接用于task2，其acc也能达到96%，但如果学完后的模型继续用task2的数据去学习，则在task2的测试集上acc固然能提高，但是却会把task1上学习到的知识忘记。

老师又给了一个NLP的例子：

数据集语料较为简单。通常是把20个任务混合在一起，让QA一次去学习，或者20个任务训练20个模型，其各自有不同的技能。

假设按照任务1到20的顺序去学习，在任务5的测试集进行测试，结果如下：

模型只要一学习新的任务，旧的任务就会忘记。但这并不意味着模型无法同时学习多个任务。如果把20个任务的训练数据混合在一起进行训练的话，结果如下：

这个现象叫做catastrophic forgetting（灾难性遗忘），因为这种遗忘不是一般的遗忘， 而是学到新知识后几乎会将旧知识全部忘记。

对于同时学习多个任务的方式，叫做multi-task training。即机器在学习第n个任务的时候需要对前面n - 1个任务的资料也进行学习，很可能没有这么大的空间对这些资料进行存储，训练时间可能大幅增加。因此，多任务学习不是解决终身学习的一个好的方式。

终身学习与迁移学习相比，更关注的是旧的任务上效果怎么样（当然新的任务也会关注），迁移学习只关注新任务效果怎么样。


评估：

Rij指训练完第i个任务后在第j个任务测试集上的准确率。

注意Backward Transfer通常是负的，可以衡量学习到新的任务后对于原来任务的遗忘程度。

Forward Transfer可以衡量学习其他任务后对于新任务“无师自通”的能力。

问题解法

1. Selective Synaptic Plasticity（选择突触可塑性）

让某一些神经元/某一些神经元之间的连接具有可塑性，是一种基于正则化的方法。

一种可能的思想是，希望在学习新任务的时候，不要去改变模型比较重要的参数，只改变不那么重要的参数。

bi代表这个参数对于过去的任务而言是否重要，是人为设定的超参数（如果是可学习的话会学成0:minimize loss）。

如果所有的bi都设置为非常大的值，则新的参数和旧的参数会非常接近，在旧任务上固然不会遗忘，但新任务也很有可能学的不好。

那么如何判断一个参数对于旧任务是否重要呢？把$\theta_b$在$\theta_1$方向上做移动，发现对于Loss影响不大，那么这个参数就不那么重要。

改变训练的任务的顺序对于结果有无影响？有！做实验时作者会穷举任务的顺序。

Gradient Episodic Memory（GEM）

GEM是一种早年的做法，其不是对参数加以限制，而是在梯度的方向上做限制。

但这样就有一个劣势，就是需要所有任务的资料（用以确定梯度的方向）。但实际上gb仅仅是去修改g的方向，确定gb仅需要存储一点资料。

2. Additional Neural Resource Allocation

改变一下使用在每个任务里的Neural的resource。

每次训练新的任务时，之前任务的参数就不要去修改了，而是增下一部分新的参数。但这样每次训练需要额外的空间去产生新的Neural，

一个相反的思想是PackNet。每次先开一个比较大的模型，每次用其中一部分参数去训练当前任务。

CPG将前面两种方法结合了起来：

3. Memory Reply

用Generator产生之前任务的资料，拿过来参与新任务的训练。如果存储Generator的空间比直接存储旧的信息所需要的空间小，那么这个方法就是合适的。

如果任务的class数目不一样的话应该怎么解决？

4. Curriculum Learning

研究什么样的学习顺序是有效的

question

如果不同任务的训练数据不平衡，应该如何处理？