文件名称：论文笔记—meta-learning and universality
文件大小：876KB
文件格式：PDF
更新时间：2023-08-11 05:02:56
元学习 元学习理论 元学习的通用性 表示学习
论文摘要：学习学习是使模型能够更有效，更有效地从数据中学习的强大范例。一种流行的元学习方法是训练一个循环模型，以将训练数据集作为输入并输出一个学习模型的参数，或者输出对新测试输入的预测。另外，一种新的元学习方法旨在获取可以通过标准梯度下降有效地微调到新任务的深度表示。在本文中，我们从通用性的角度考虑元学习问题，将学习算法近似的概念形式化，并将上述递归模型的表达能力与将梯度下降嵌入元学习器的最新方法进行比较。特别是，我们试图回答以下问题：深度表示与标准梯度下降相结合是否具有足够的能力来近似任何学习算法？我们发现，这确实是我们的实验，而且是进一步的实验，基于梯度的元学习始终能够导致与递归模型所代表的策略相比，具有更广泛的泛化学习策略。