简介
参数模型 vs. 非参数模型
-
参数模型
training examples need to be slowly learnt by the model into its parameters. -
非参数模型
allow novel examples to be rapidly assimilated, whilst not suffering from catastrophic forgetting.
创新点
at the modeling level
模型设计中, 借鉴了当下流行的注意力LSTM, 考虑了整个参考集合的贡献.
We propose Matching Nets (MN), a neural network which uses recent advances in attention and memory that enable rapid learning.
at the training procedure
训练过程中，尽量模拟测试流程，使用小样本构造minibatch
our training procedure is based on a simple machine learning principle: test and train conditions must match.
模型结构
给定一个参考集, $ S = \left \{ (x_{i}, y_{i}) \right \}_{i=1}^{k} $, 定义一个映射$ S \rightarrow C_{S}(x)=p(y|x) $, 其中$ P $由网络参数确定.
在预测阶段, 给定未知的样本$ {x}' $和参考集$ {S}' $, 预测的标签为 $ argmax_{y} P(y|{x}', {S}') $
最简单的形式y为: $ y = \sum_{i=1}^{k}a(x, x_{i})y_{i} $, 其中$ a $是attention机制.
然而与通常的attention memory机制不同, 这里的本质上是非参数的. 当参考集变大时, memory也变大. 这种定义的分类器很灵活, 可以很容易适应新的参考集.
attention kernel
匹配函数, 相当于前述函数 $ a(x, x_{i}) $, 即如何考察测试样本特征 $ x $ 和参考集样本特征 $ x_{i} $ 之间的匹配程度.
可以有以下选择:
-
cosine : $$ a(x, x_{i}) = c(x, x_{i}) $$
-
Softmax :
$ a(x, x_{i}) = exp[c(x, x_{i})] / \sum_{j}exp[c(x, x_{j})] $ -
cosine(FCE) :
$ a(x, x_{i}) = c(f(x), g(x_{i})) $ -
Softmax(FCE) :
$ a(x, x_{i}) = exp[c(f(x), g(x_{i}))] / \sum_{j}exp[c(f(x), g(x_{j}))] $
其中c表示余弦距离, FCE表示Full Conditional Embedding.
Full Context Embeddings
在通常的image或者是sentence的表示的基础上(如CNN的表示, embedding的表示等), 可以进一步加上 FCE, 使得到的 representation 依赖于support set.
$ g(x_{i}) $ 应该依赖于参考集 $ S $, 另外 $ S $ 也应该影响 $ y(x) $.
$ g(x_{i}, S) $
使用 bilstm, 在$ S $的上下文中(将其视为一个序列)编码$ x_{i} $
\vec{h}_{i}, \vec{c}_{i} = LSTM ({g_{i}}', \vec{h}_{i-1}, \vec{c}_{i-1})
\bar{h}_{i}, \bar{c}_{i} = LSTM ({g_{i}}', \bar{h}_{i+1}, \bar{c}_{i+1})
g(x_{i}, S) = \vec{h}_{i} + \bar{h}_{i} + {g}'(x_{i})
其中$ {g}'(x) $是一个神经网络, 比如图像任务中的CNN, 和自然语言任务中的word embedding.
$ f(x, S) $
f(x, S) = attLSTM({f}'(x), g(S), K)
其中$ {f}'(x) $是一个神经网络, 比如图像任务中的CNN, 和自然语言任务中的word embedding.
这里和之前类似, 注意力函数也是softmax形式, 用其他所有参考集样本归一化.
换言之, 除了以测试样本作为输入, 在每一个步骤中, 还要根据LSTM状态h, 决定把注意力放在哪一些参考集样本上.
训练策略
训练策略是本文的闪光之处, 再一次验证了机器学习实战中这条颠扑不破的真理: 怎么用, 怎么训.
训练流程
训练过程中，迭代一次的流程如下：
- 选择少数几个类别（例如5类），在每个类别中选择少量样本（例如每类5个）；
- 将选出的集合划分：参考集，测试集；
- 利用本次迭代的参考集，计算测试集的误差；
- 计算梯度，更新参数
这样的一个流程文中称为episode。
在测试过程中，同样遵守此流程：
- 选择少数几个类别，在每个类别中选择少量样本；
- 将选出的集合划分：参考集，测试集；
- 利用本次迭代的参考集，计算测试集的误差；
注意，在完成训练之后，所有训练中用过的类别，都不再出现在后续真正测试中。换言之，训练集和测试集的类别互不包含。
参考资料
论文 Matching Networks for One Shot Learning
博客 Matching Networks for One Shot Learning
Tensorflow实现: 这里的实现似乎没有对f, g分开处理, 对FCE的处理方式也和文章说的不太一样.
