文件名称：lm-evaluation-harness:一次评估自回归语言模型的框架
文件大小：86KB
文件格式：ZIP
更新时间：2024-04-25 01:51:56
Python
大型语言模型的评估工具 概述 该项目的目标是根据描述的GPT-3评估，构建一套用于评估典型NLU任务上的LM的工具。 按照最初的描述，此存储库应支持3个功能： LM评估 从LM训练集中删除任务评估/测试数据 将任务训练数据添加到LM训练集中 任务概述 任务名称 火车 值 测试 指标 可乐 ✓ ✓ ✓ 抄送 li ✓ ✓ ✓ acc mnli_mismatched ✓ ✓ ✓ acc MRPC ✓ ✓ ✓ acc，f1 te ✓ ✓ ✓ acc n里 ✓ ✓ ✓ acc qqp ✓ ✓ ✓ acc，f1 不锈钢 ✓ ✓ ✓ acc 万里 ✓ ✓ ✓ acc 布尔克 ✓ ✓ ✓ acc b ✓ ✓ ✓ acc，f1 美洲杯 ✓ ✓ ✓ acc 多媒体 ✓ ✓ ✓ acc 记录 ✓
【文件预览】：
lm-evaluation-harness-master
----lm_eval()
--------models()
--------utils.py(2KB)
--------tasks()
--------metrics.py(5KB)
--------evaluator.py(4KB)
--------__init__.py(0B)
--------base.py(11KB)
----main.py(2KB)
----.github()
--------workflows()
----tests()
--------test_evaluator.py(883B)
--------test_tasks.py(3KB)
--------test_models.py(598B)
----requirements.txt(201B)
----setup.py(700B)
----LICENSE.md(1KB)
----.gitignore(30B)
----download_all.sh(536B)
----README.md(12KB)
----scripts()
--------fewshot_description_experiment.py(2KB)
--------cost_estimate.py(2KB)
--------write_out.py(2KB)
--------make_table_tasks.py(530B)
--------clean_training_data()
--------get_prompts.py(641B)
----CODEOWNERS(21B)