文件名称：用于转移学习的锚定适配器的集合
文件大小：407KB
文件格式：PDF
更新时间：2024-05-27 06:25:54
研究论文
在过去的十年中，已经针对大量现实应用提出了大量的转移学习算法。但是，由于大多数算法都容易受到负转移的影响，因为它们的性能甚至比传统的监督模型还要差。为了提供更强大的迁移学习模型，我们提出了一个anCHOR适配器的EN-Semble框架（简称ENCHOR），其中锚适配器根据其与特定锚（即选定实例）的相似性来适应实例的功能。特别地，与锚定实例越相似，实例的原始特征在适应表示中的程度越高，反之亦然。 这种针对数据的自适应表示实际上表示了对应锚周围的局部结构，然后可以将任何转移学习方法应用于针对预测模型的这种自适应表示，该预测模型更多地关注锚点的邻域。 接下来，基于多个锚，可以构建多个锚适配器并将其组合为最终输出的集合。 此外，我们开发了一种有效的方法来选择用于建筑的锚，以实现进一步的性能改进。 进行了数百个文本分类任务的广泛实验，以证明ENCHOR的有效性。 结果表明：当传统的监督模型表现不佳时，ENCHOR（仅基于8个选定的锚）与最新技术方法相比，平均精度提高了6％-13％。它极大地减轻了负面转移。