文件名称:SF-QA:开放域问答的评估框架
文件大小:398KB
文件格式:ZIP
更新时间:2024-05-22 13:50:10
natural-language-processing mrc squad machine-reading-comprehension open-domain-qa
一个简单且公平的开放域问答库 介绍 开放域质量保证评估通常意味着需要花费大量的精力进行大量数据索引和构建管道。 这就是为什么我们创建SF-QA 。 通过建立具有相同来源的标准评估系统,我们可以使评估过程变得简单而快速,因此研究人员可以专注于他们提出的方法,而不必花费大量时间来复制研究中的现有方法。 SF-QA可帮助您评估开放域质量检查,而无需构建整个开放域质量检查管道。 它支持: 高效的读者比较 可重复的研究 应用知识来源 特征 :sparkles: 简单的评估框架:专为开放域质量检查而构建 :sparkles: 预先训练的Wiki数据集:无需自己训练 :sparkles: 可扩展:设置您自己的配置,并在开放域范围内进行评估。 :sparkles: 开源:每个人都可以贡献力量 安装 SF-QA需要Python 3,Pytorch 1.6.0。 变压器2.11.0,elasticsearch 7.5.0 pip install -r requirem
【文件预览】:
SF-QA-main
----config()
--------bertserini()
--------sparta()
--------bertserini-ds()
--------multipassage-bert()
----example.py(900B)
----demo.py(310B)
----imgs()
--------demo.gif(846KB)
--------logo.png(6KB)
----soco_openqa()
--------helper.py(4KB)
--------soco_mrc()
--------evaluation.py(9KB)
--------pipeline.py(2KB)
--------__init__.py(0B)
--------config.py(937B)
--------demo()
--------ranker.py(2KB)
--------reader.py(3KB)
--------cloud_bucket.py(4KB)
----requirements.txt(185B)
----.gitignore(1KB)
----README.md(7KB)
----LICENSE.txt(11KB)
----reports()
--------cmrc2018-sparta-rbt.txt(454B)
--------bertserini.txt(436B)
--------bertserini-ds-new-ranker.txt(2KB)
--------nq-dev-sparta-spanbert.txt(460B)
--------multipassage-bert.txt(1KB)
--------squad-sparta-spanbert.txt(932B)
--------online-eval-zh-cmrc2018-sparta-rbt.txt(440B)
--------nq-test-sparta-spanbert.txt(940B)
--------drcd-dev-sparta-rbt.txt(3KB)