中科院:LLM的低秩适应调优方法MoR-????分析总结

时间:2024-11-13 10:52:34

????性能提升:MoR在多个指令调优数据集和11个下游指标上,相比MoELoRA和LoRA分别提高了1.31%和7.4%的性能。
????参数效率:MoR在增加向量专家组数量时,能够在不显著增加参数数量的情况下显著提高模型性能。当向量专家组数量增加到八个时,MoR在参数数量较少的情况下,性能超过了集成多个LoRA模块的MoELoRA方法。
????专家可扩展性:MoR在增加专家数量时,训练参数的增长速度比MoELoRA慢,显示出更好的专家可扩展性。
????泛化能力局限:尽管MoR在大多数任务上表现出色,但在未包含在训练数据中的Lambda任务和NQ任务上,性能有所下降,表明其在处理分布外数据时存在一定的局限性。