文件名称：lm-diagnostics:语言模型中语言能力的诊断测试
文件大小：30KB
文件格式：ZIP
更新时间：2024-05-27 07:14:16
Python
LM诊断
该存储库包含“什么不是BERT的”的诊断数据集和实验代码： Allyson Ettinger的新的语言模型心理语言学诊断套件的经验教训。
诊断测试数据
datasets文件夹包含包含每个诊断测试数据的TSV文件，以及每个数据集的说明性README文件。
代码
[现在所有代码已更新为可以在Python 3上运行。]
本部分中的代码可用于处理诊断数据集，以输入到语言模型，然后在该语言模型的预测上运行诊断测试。 该代码应在三个步骤中使用：
步骤1：处理数据集以产生LM的输入
proc_datasets.py可用于将提供的数据集处理为1）
【文件预览】：
lm-diagnostics-master
----sensitivity_tests.py(9KB)
----get_bert_responses.py(2KB)
----datasets()
--------CPRAG-34()
--------NEG-88()
--------ROLE-88()
----run_diagnostics_bert.py(28KB)
----LICENSE(1KB)
----README.md(5KB)
----prediction_accuracy_tests.py(6KB)
----access_model.py(3KB)
----proc_datasets.py(6KB)
----versions.txt(5KB)