Markdown 尝试

时间:2021-12-03 00:14:18

简介

参数模型 vs. 非参数模型

  • 参数模型

    training examples need to be slowly learnt by the model into its parameters.

  • 非参数模型

    allow novel examples to be rapidly assimilated, whilst not suffering from catastrophic forgetting.

创新点

at the modeling level

模型设计中, 借鉴了当下流行的注意力LSTM, 考虑了整个参考集合的贡献.

We propose Matching Nets (MN), a neural network which uses recent advances in attention and memory that enable rapid learning.

at the training procedure

训练过程中,尽量模拟测试流程,使用小样本构造minibatch

our training procedure is based on a simple machine learning principle: test and train conditions must match.

模型结构

Markdown 尝试

给定一个参考集, $ S = \left \{ (x_{i}, y_{i}) \right \}_{i=1}^{k} $, 定义一个映射$ S \rightarrow C_{S}(x)=p(y|x) $, 其中$ P $由网络参数确定.

在预测阶段, 给定未知的样本$ {x}' $和参考集$ {S}' $, 预测的标签为 $ argmax_{y} P(y|{x}', {S}') $

最简单的形式y为: $ y = \sum_{i=1}^{k}a(x, x_{i})y_{i} $, 其中$ a $是attention机制.

然而与通常的attention memory机制不同, 这里的本质上是非参数的. 当参考集变大时, memory也变大. 这种定义的分类器很灵活, 可以很容易适应新的参考集.

attention kernel

匹配函数, 相当于前述函数 $ a(x, x_{i}) $, 即如何考察测试样本特征 $ x $ 和参考集样本特征 $ x_{i} $ 之间的匹配程度.

可以有以下选择:

  • cosine : $$ a(x, x_{i}) = c(x, x_{i}) $$

  • Softmax : $ a(x, x_{i}) = exp[c(x, x_{i})] / \sum_{j}exp[c(x, x_{j})] $

  • cosine(FCE) : $ a(x, x_{i}) = c(f(x), g(x_{i})) $

  • Softmax(FCE) : $ a(x, x_{i}) = exp[c(f(x), g(x_{i}))] / \sum_{j}exp[c(f(x), g(x_{j}))] $

其中c表示余弦距离, FCE表示Full Conditional Embedding.

Full Context Embeddings

在通常的image或者是sentence的表示的基础上(如CNN的表示, embedding的表示等), 可以进一步加上 FCE, 使得到的 representation 依赖于support set.

$ g(x_{i}) $ 应该依赖于参考集 $ S $, 另外 $ S $ 也应该影响 $ y(x) $.

  • $ g(x_{i}, S) $

    使用 bilstm, 在 $ S $ 的上下文中(将其视为一个序列)编码 $ x_{i} $
\vec{h}_{i}, \vec{c}_{i} = LSTM ({g_{i}}', \vec{h}_{i-1}, \vec{c}_{i-1})

\bar{h}_{i}, \bar{c}_{i} = LSTM ({g_{i}}', \bar{h}_{i+1}, \bar{c}_{i+1})

g(x_{i}, S) = \vec{h}_{i} + \bar{h}_{i} + {g}'(x_{i})

其中$ {g}'(x) $是一个神经网络, 比如图像任务中的CNN, 和自然语言任务中的word embedding.

  • $ f(x, S) $
f(x, S) = attLSTM({f}'(x), g(S), K)

Markdown 尝试

其中$ {f}'(x) $是一个神经网络, 比如图像任务中的CNN, 和自然语言任务中的word embedding.

这里和之前类似, 注意力函数也是softmax形式, 用其他所有参考集样本归一化.

换言之, 除了以测试样本作为输入, 在每一个步骤中, 还要根据LSTM状态h, 决定把注意力放在哪一些参考集样本上.

训练策略

训练策略是本文的闪光之处, 再一次验证了机器学习实战中这条颠扑不破的真理: 怎么用, 怎么训.

Markdown 尝试

训练流程

训练过程中,迭代一次的流程如下:

  • 选择少数几个类别(例如5类),在每个类别中选择少量样本(例如每类5个);
  • 将选出的集合划分:参考集,测试集;
  • 利用本次迭代的参考集,计算测试集的误差;
  • 计算梯度,更新参数

    这样的一个流程文中称为episode。

在测试过程中,同样遵守此流程:

  • 选择少数几个类别,在每个类别中选择少量样本;
  • 将选出的集合划分:参考集,测试集;
  • 利用本次迭代的参考集,计算测试集的误差;

注意,在完成训练之后,所有训练中用过的类别,都不再出现在后续真正测试中。换言之,训练集和测试集的类别互不包含。

参考资料

论文 Matching Networks for One Shot Learning

平价数据 One Shot Learning

博客 Matching Networks for One Shot Learning

Tensorflow实现: 这里的实现似乎没有对f, g分开处理, 对FCE的处理方式也和文章说的不太一样.