文件名称：gap-text2sql:GAP-text2SQL
文件大小：227KB
文件格式：ZIP
更新时间：2024-06-12 12:42:08
nlp machine-learning deep-learning nlu text-generation
GAP-text2SQL：通过生成增强的预训练学习语义表示的上下文表示 代码和模型 更新 [2020/02/05]支持在自己的数据库和查询上运行模型。 签出。 抽象的 最近，人们通过利用大规模文本语料库来训练具有自我监督学习目标的大型神经语言模型，例如屏蔽语言模型（MLM），来学习各种NLP任务的上下文表示，引起了人们的极大兴趣。 但是，根据一项初步研究，当将现有通用语言模型应用于文本到SQL语义解析器时，我们会观察到三个问题：无法检测到话语中的列提及，无法从单元格值推断出列提及，并且无法编写复杂SQL查询。 为了缓解这些问题，我们提出了一个模型预训练框架，即代增广预训练（GAP），该模型通过利用生成模型来生成预训练数据来共同学习自然语言话语和表模式的表示。 GAP模型针对2M话语-模式对和30K话语-SQL-SQL三元组进行训练，它们的话语是由生成模型产生的。 根据实验结果，利用GAP