文件名称:iamQA:中文wiki百科QA问答系统,使用了CCKS2016数据的NER模型和CMRC2018的阅读理解模型,还有W2V词向量搜索,使用torchserve部署
文件大小:636KB
文件格式:ZIP
更新时间:2024-06-13 07:37:21
wiki w2v ner-albert Python
iamQA 中文wiki百科问答系统,本项目使用了torchserver部署模型 知识库:wiki百科中文数据 模型:使用了的NER(CCKS2016数据)和阅读理解模型(CMRC2018),还有Word2Vec词向量搜索。 详细内容可以参考文章: 项目框架 模块介绍 ChineseWiki-master 功能:清洗wiki中文数据 相关项目: NER 功能:从问题中识别实体 例子:qurry:周董是谁? 》》 entiy:周董 模型:ALBERT 数据集:CCKS2016KBQA 相关项目: Word2vec 功能:如果实体不在知识库,则用W2V搜索近似实体 例子:entity:周董 >> ['周杰伦','JAY','林俊杰'] 相关项目: Entity linking 功能:根据NER或W2V得到的mention entity搜索知识库 Reader 功能:阅读理解文段,精确定位答
【文件预览】:
iamQA-main
----drqa-webui-master()
--------template-README.txt(298B)
--------screens()
--------templates()
--------static()
--------index.py(344B)
--------template-license.txt(1KB)
--------requirements.txt(15B)
--------README.md(2KB)
--------services()
----ChineseWiki-master()
--------3wiki_csv_to_json.py(3KB)
--------2wiki_txt_to_csv.py(2KB)
--------4wiki_json_to_DB.py(1KB)
--------1wiki_to_txt.py(2KB)
----structure.jpg(254KB)
----W2V()
--------stop.txt(53KB)
--------Transformer_handler_generalized.py(3KB)
--------limit_vocabulary.py(985B)
--------test.txt(9B)
--------config.properties(143B)
--------bash.sh(404B)
--------to_pickle.py(229B)
----reader()
--------Transformer_handler_generalized.py(8KB)
--------inference.py(31KB)
--------tools()
--------setup_config.json(193B)
--------__pycache__()
--------log.txt(368B)
--------output()
--------official_tokenization.py(14KB)
--------test.txt(58B)
--------config.properties(143B)
--------preprocess()
--------bash.sh(1KB)
--------inference_test.py(31KB)
----NER()
--------Transformer_handler_generalized.py(3KB)
--------model()
--------test.txt(16B)
--------config.properties(143B)
--------bash.sh(776B)
----requirement.txt(214B)
----README.md(6KB)
----retriver_check.py(2KB)