【学习笔记】Meta Learning

省流：没学会，没写过，不知道能干啥。本来想看综述的，后来因为太颓废了就上 bilibili 找了个视频水了一下。

但是感觉真的很嘚。

idea

最开始人们的思维是训练一个 classifer，训练一个 regression model 等等。着本质上是实现一个 Input -> output 的映射 $f$ ，现在变成了训练一个 $F$ 使其能生成各种 $f$ 。

机器学习，最关键的就是数据。在训练 $f$ 的过程中，我们将数据集分为 train/valid/test 三个部分。在训练 $F$ 的过程中，我们抛弃之前 within-task training 的模式，选择一个 across-task training 的想法：使用 train set & valid set & valid set 三个部分，每个 set 分成 train data & test data(亦有人管它们叫 support set & query set)。

我们在测试的过程中先将测试集中的 train data 喂给 $F$ 得到 $f'$ 再用 $f'$ 进行 test set 中 test data 的测试，以测试的结果作为判断 $F$ 好坏的标准。

$F$ 能学啥？

initialization

model-agnostic meta learning for fast adaptaion of deep networks. (MAML)

关于为什么 MAML work 的原因有两种推测，第一种是 rapid learning（可以让学 $f$ 的时候更快得升降），第二种是 feature reuse（参数本身离各个 task 的损失函数 $\arg\min$ 就很近，在 $f$ 的 gradient descent 中迭代几下就行了）。在 Rapid learning or feature reuse? Towards understanding the effectiveness of maml 中认为是第二种。

也有人写了 'How to train your MAML'

与 MAML 相比还有 reptile (introduced in "On First-Order Meta-Learning Algorithms")
optimizer

learning to learn by gradient descent by gradient descent

能针对特定结构的网络，训练一个非常优秀的优化器，但是设计的优化器很专一，比如 Relu->sigmoid 就直接爆炸了。
Network Architecture

最有兴趣的一集。非常有基因工程的感觉。

learn 来 learn 去，你总归是要设计损失函数的吧。architecture 怎么求导啊？
见：Differentiable architecture search

否则可以使用强化学习的方法，比如将模型的信息看成 agent 的 action 来进行迭代。
见 Neural architecture search with reinforcement learning/Efficient neural architecture search via parameter sharing/Learning transferable architectures for scalable image recognition

也有evolutionary algorithm(进化算法)
large-scale evolution of image classifiers
hierarchical representations for efficient architecture search
regularized evolution for image classifier architecture search
Data Augmentation

顾名思义，学习如何对数据进行增强。比如在图像识别中可以机器选择翻转、切割等等。
DADA:Differentiable Automatic Data Augmentation
Population based augmentation:efficient learning of augmentation policy schedules
Sample Reweighting

顾名思义。
Meta-weight net:learning and explicit meapping for sample reweighting
Learning to reweight examples for robust deep learning