bert-gen.pdf

【文件属性】：
文件名称：bert-gen.pdf
文件大小：919KB
文件格式：PDF
更新时间：2023-09-07 14:05:07
nlp bert gen bert-gen 自然语言处理 大型的预训练语言模型可以编码大量的语言信息，但是却很难学习到数字推理之类的高级推理技巧，虽然现在也有很多涉及数字推理的模型，但是现有的模型都是使用专门的模块计算数值，并且将数值计算的空间限制在有限的范围内。这篇论文将数值推理技能引入语言模型中，通过生成大量的数值数据在语言模型上进行多任务训练，显著提高了在DROP上的表现（49.3->72.3 F1），和最新的SOTA性能相当；此外作者还将模型推广到了MWP(math word problem datasets)，同时在标准的阅读理解任务上保持着高的性能。