文件名称：SVAMP:NAACL 2021
文件大小：4.86MB
文件格式：ZIP
更新时间：2024-05-01 08:05:55
Python
SVAMP NLP模型真的能够解决简单的数学单词问题吗？ 在过去的几年中，解决数学单词问题（MWP）的任务受到了重要的研究关注。 MWP由简短的自然语言叙述组成，描述了世界的状况，并提出了一些未知量的问题（示例请参见表1）。 在这项工作中，我们展示了两个基准数据集和。 我们首先表明，即使在测试时删除了MWP的“问题”部分，现有模型仍在这些数据集上实现了相当高的准确性。 我们进一步表明，没有任何字序信息的简单模型也可以解决这些数据集中的大多数MWP。 我们的实验表明，现有模型依靠基准MWP数据集中的浅试探法来实现高性能。 我们的实验使基准数据集无法可靠地衡量模型性能。 为了对自动MWP求解器进行更强大的评估，我们创建了一个名为“ SVAMP”的挑战集。 SVAMP中的示例在解决MWP的不同方面测试了模型。 表1提供了来自SVAMP的三个示例，分别测试模型是否对问题敏感，具有可靠的推理能