Learning to Learn and Predict: A Meta-Learning Approach for Multi-Label Classification
2019-10-01 11:29:54
Paper: https://arxiv.org/pdf/1909.04176.pdf
1. Background and Motivation:
多标签分类问题的目标是同时进行多个 label 的识别，且这些 label 是有一定关联的；而传统的 多类别分类问题，仅仅是一个样本包含一个 label。现有的方法，从统计模型到神经网络的方法，都是共享标准的交叉熵损失函数进行训练的。在训练之后，这些模型尝试用单个预测策略来对所有的 label 进行最终的预测。实际上，这些方法都是基于如下的假设：no dependency among the labels。然而，如图1 所示，这种假设在实际情况下是很难满足的，但是 multi-label classification 的 label 依赖关系的问题却很少受到关注。
由于受到标签依赖关系的影响，这些 label 的预测难度是大不相同的。
首先，高层的 label 更加容易进行分类，如：organization，person 等；但是更加低层的 label，如 news，broadcast 等，则更加困难。
其次，对于 label 之间没有显示关系的，可能仍然存在着一些隐层的关系，这在 NLP 领域中，是相当常见的。
基于上述观察，作者考虑学习不同的训练策略 和 预测策略来进行多标签的识别。
对于所有 label 的训练和预测策略，可以看做是一系列的超参数。然而，想要指定显示和隐式的标签依赖，也是不显示的。为了解决上述问题，本文提出一种 meta-learning 的框架来建模这些 label dependency，然后自动的学习训练和测试策略。具体来说，作者引入一种联合 meta-learning 和 multi-label classification 的学习框架。作者用一种基于 GRU 的 meta-learner 在训练阶段来捕获 label dependencies 和 学习这些参数。
本文的贡献可以总结为如下几点：
1). 首次在多标签分类问题上，提出联合的 “learning to learn” 和 “learning to predict” 。
2). 本文方法可以对每一个 label 学习一个 weight 和 decision policy，并且可以用于训练和测试阶段。
3). 本文方法是一种 model-agnostic，可以结合到多种模型中，并且取得了比 baseline 方法要好很多的效果。
2. The Proposed Method：
==