提示学习。在视觉语言模型领域，提示学习旨在更有效地弥合视觉和文本表示之间的差距。该领域的一项开创性工作是CoOp(上下文优化)模型(Zhou等人，2022b)，该模型优化提示的上下文，以提高CLIP (Radford等人，2021)等模型在少样本学习场景中的性能。
研究人员还引入了视觉提示的概念(Zang et al, 2022;Khattak等人，2023)，其中涉及将可学习向量附加到视觉编码器的输入，类似于文本提示。这种方法可以显著提高性能，尽管它也增加了计算需求。在本文中，我们只关注基于文本的提示。在未来，我们的方法可能会被扩展到包含视觉提示。
尽管它们取得了成功，但大多数快速学习方法在分类精度和鲁棒性之间权衡，例如在领域泛化或out-of-distribution (OOD)检测中。已经开发了各种方法来使用原始手动模板中的特性来约束软提示的更新。这些方法要么直接限制梯度更新的方向，要么采用知识蒸馏的方法。其中，ProGrad (Zhu et al .， 2023)通过仅当提示的梯度与预定义提示的KL损失梯度所表示的“大方向”一致时更新提示，防止提示调优忘记VLMs中的一般知识。LASP (Bulat和Tzimiropoulos, 2022)使用分组手动模板编码特征作为监督来规范提示符的学习。KgCoOp (Yao et al .， 2023)减少了由学习提示生成的文本嵌入与手工提示生成的文本嵌入之间的差异。我们还通过将原始文本特征中的知识提取到每个专家软提示中来结合该技术。此外，我们应用门控正则化从离散文本中提取先验知识到路由器中。
PLOT (Chen等)首先探索了学习多个综合提示来描述类别的不同特征，使用最佳传输来对齐视觉和文本特征。该方法通过应用两阶段优化策略改进了少样本识别任务，与传统的提示学习方法相比，在各种数据集上表现出优越的性能。我们以另一种方式，使用多个提示来捕获数据集中的不同风格，并学习以稀疏混合专家的方式来提示。
混合专家。混合专家(MoE)框架(Zhou et al .， 2022c;Masoudnia和Ebrahimpour, 2014)最初是在几十年前引入的，它为人工智能带来了重大进步，特别是在基于transformer的大型语言模型中出现了稀疏门控制的MoE (Sukhbaatar等人，2024;Liu et al, 2024)。该框架允许模型的不同部分(称为专家)专门从事各种任务，只针对给定输入聘请相关专家，以在利用专业知识的同时保持计算效率。MoE的一个主要问题是有效地平衡不同专家模型之间的负载，因为负载分配不良可能导致效率低下和模型性能不稳定(Masoudnia和Ebrahimpour, 2014)。