文件名称:qa_match:用于短文本匹配的简单有效的工具包
文件大小:2.19MB
文件格式:ZIP
更新时间:2024-02-24 12:09:52
nlp machine-learning ai deep-learning tensorflow
项目介绍 qa_match是一种基于基础深度学习的问答匹配工具,支持一层和两层结构知识库问答。 qa_match同时支持无监督预训练功能,通过轻量级预训练语言模型(SPTM,简单的预训练模型)可以增强基于知识问答等下游任务的效果。 知识问答 在实际场景中,文献一般是通过人工总结,标注,机器挖掘等方式进行重建,并包含大量的标准问题,每个标准问题有一个标准答案和一些扩展问法,我们称这些扩展问对于两层结构合并,每个标准问题及其扩展问题都有一个类别,我们称法为扩展问题。为领域,一个领域包含多个前缀。 qa_match支持知识库结构如下: 对于输入的问题,qa_match能够结合合并的形式回答: 唯一
【文件预览】:
qa_match-master
----dssm_predict.py(5KB)
----sptm()
--------run_classifier.py(8KB)
--------utils.py(11KB)
--------run_pretraining.py(6KB)
--------models.py(20KB)
--------run_prediction.py(3KB)
--------format_result.py(1KB)
----utils()
--------match_utils.py(11KB)
--------__init__.py(0B)
--------classifier_utils.py(9KB)
----run_bi_lstm.py(7KB)
----models()
--------dssm.py(7KB)
--------bilstm.py(7KB)
--------__init__.py(0B)
----LICENSE(581B)
----README.md(11KB)
----data_demo()
--------vocab(11KB)
--------valid_data(115KB)
--------std_data(158KB)
--------pre_train_data(3.76MB)
--------test_data(122KB)
--------train_data(4.61MB)
----lstm_predict.py(4KB)
----merge_classifier_match_label.py(14KB)
----dec_mining()
--------inference.py(5KB)
--------train.py(7KB)
--------data_utils.py(6KB)
--------images()
--------print_sen_embedding.py(4KB)
--------dataset.py(2KB)
--------README.md(12KB)
--------data()
--------dec_model.py(5KB)
----docs()
--------measurement.png(13KB)
--------sptm.png(54KB)
--------RUNDEMO.md(13KB)
--------pretrain.png(17KB)
--------lstm_dssm_bagging.png(50KB)
--------dssm.png(12KB)
--------kg_demo.png(68KB)
----run_dssm.py(6KB)
----.gitignore(27B)