该少样本学习综述发表于arXiv2019年5月13号。
摘要：人工智能在数据密集型应用中取得了成功，但缺乏从有限的示例中学习的能力。为了解决这个问题，提出了“少量样本学习”（FSL，Few-Shot Learning）。它可以用先验知识从受监督的经验有限的新任务中快速得出结论。为了全面了解FSL，本文进行了一项调查研究。首先澄清FSL的正式定义。其中不可靠的经验风险最小化是FSL的核心问题。基于采用先验知识处理核心问题的方式，将不同的FSL方法分为三个视角：数据使用先验知识来增强监督经验，模型通过先验知识来约束假设空间，算法使用先验知识来改变假设空间搜索最佳假设的参数。在这种统一的分类法下，本文对不同类别的利弊进行了详尽的讨论。最后，在问题设置、技术、应用和理论方面为FSL提出了可能的方向，为后续研究提供见识。
FSL例子：
设置比较：
从这三个角度比较FSL求解少量样本问题的方法：
基于各类方法的核心对FSL分类：
从数据角度看FSL方法的特性：
从模型角度看FSL的方法特性：
从算法角度看FSL方法的特性：
**少样本学习（FSL）**方法将先验知识与经验中提供的一些监督信息相结合，使学习受监督目标变得可行。 进一步发展FSL的四个关键方向包括问题设置、技术、应用和理论。
现有的FSL方法使用单一模态的先验知识，例如图像、文本和视频。 尽管训练数据在当前的模态有一些示例，但可能存在便宜的模态，其中包含大量受监督的样本。 例如，一种灭绝的动物类别在视觉领域可能只有有限的例子。 但是，由于人们倾向于特别注意稀有类，因此可以在诸如教科书或网页等文本领域中对其进行详细检查。 因此，可以用多模态先验知识以互补的方式提供先验知识。 在零样本学习中经常使用使用多模态想法。
现有FSL方法可分为数据、模型和算法。实际上，为了改进它们，这些方法的每个组成部分都可以被更新，被更先进的方法所代替。此外，设计一种可以明确量化数据、模型和算法的贡献并相应调整方法的混合可能会很有用。
元学习方法，通过跨任务学习，它可以以较小的推理成本快速适应新任务。但是，元学习方法中考虑的任务主要来自单个任务分布p（T）。但是，在实践中，我们会获得各种任务，这些任务由于成本高昂或过于困难而无法确定任务的相关性。在这种情况下，直接使用这些任务会导致负迁移（negative transfer）。
现有工作主要涉及计算机视觉应用，例如字符识别和图像分类。这是因为视觉信息易于获取，并且已经在机器学习中进行了广泛研究。有许多成熟的技术可以转移到少样本设置。而且，视觉信息的性能可以被人类容易地理解和评估。目前，字符识别和图像分类的两个基准（Ominiglot和miniImageNet）已经具有很高的准确性，几乎没有改进的空间。此外，可以探索更多的计算机视觉应用，例如图像检索、目标跟踪、手势识别、图像内容标注、视觉问题解答和视频事件检测等。
FSL使用先验知识来弥补缺少监督信息的情况。基本上，使用先验知识可以减少样本的复杂性，这对于使用未标记数据集、多任务学习、生成建模、完善现有参数和元学习的方法已得到证明。 但是，对于诸如条件嵌入学习（conditional embedding learning）和使用外部存储方法学习（external memory methods）之类的最新方法，仍然缺乏分析。 总而言之，到目前为止，在特定条件下，某些方法会受到某种方式的限制。