本文是LLM系列文章，针对《Towards Compositionally Generalizable Semantic Parsing in Large Language Models: A Survey》的翻译。
大型语言模型中的可组合泛化语义分析：综述
- 摘要
- 1 引言
- 2 如何定义语义分析的组合泛化？
- 3 调查方法
- 4 影响组合泛化性能的因素
- 5 提高组合泛化能力的方法
- 6 讨论
- 7 结论
摘要
组合泛化是指模型能够从只看到基元扩展到复杂的、以前看不见的实体组合类型。这种类型的泛化与面向任务的对话、文本到SQL解析和信息检索等应用程序的语义解析社区特别相关，因为它们可能具有无限的复杂性。尽管大型语言模型（LLM）在广泛的NLP任务中取得了成功，但解锁完美的组合泛化仍然是最后几个未解决的前沿领域之一。过去几年，人们对探索LLM在语义解析任务中的组合泛化能力的局限性、改进方法和评估指标的研究兴趣激增。在这项工作中，我们提出了一项文献调查，旨在综合分析、方法和评估方案的最新进展，为该领域的从业者和研究人员提供一个起点。
1 引言
2 如何定义语义分析的组合泛化？
3 调查方法
4 影响组合泛化性能的因素
5 提高组合泛化能力的方法
6 讨论
7 结论
得益于ChatGPT等指令调优大型语言模型的流行和商业成功，这些模型被公众想象为NLP任务的全能和通用灵丹妙药。虽然这种炒作肯定有很大的优点，但即使是最强大的最先进的模型，也仍然无法实现某些理想的特性，如组合的普遍性。通过总结基于Transformer的seq2seq模型中存在的一些基本问题和推动研究的努力，本调查为语义解析研究人员提供了该领域发展的概述，这可以作为进一步研究的起点。