文件名称:BERT-Embedding-Frequently-Asked-Question:使用BERT的基于常见问题的问答系统
文件大小:119KB
文件格式:ZIP
更新时间:2024-05-20 19:52:15
dialogue question question-answering faq dialogue-systems
BEFAQ BEFAQ(BERT Embedding Frequently Asked Question) 开源项目是好好住面向多领域FAQ集合的问答系统框架。 我们将Sentence BERT模型应用到FAQ问答系统中。开发者可以使用BEFAQ系统快速构建和定制适用于特定业务场景的FAQ问答系统。 BEFAQ的优点有: (1)使用了Elasticsearch、Faiss、Annoy 作为召回引擎 (2)使用了Sentence BERT 语义向量(Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks) (3)对同义问题有很好的支持 (4)支持多领域语料(保证了召回的数据是对应领域的,即使是同样的问题,也可以得到不同的答案。) (5)提供了根据当前输入提示联想问题(suggest)功能的接口 BEFAQ的框架结构如下图
【文件预览】:
BERT-Embedding-Frequently-Asked-Question-master
----.gitignore(81B)
----faq()
--------get_question_vecs.py(1KB)
--------retrieval_es.py(9KB)
--------deduplicate_threshold_op.py(2KB)
--------jieba4befaq.py(1KB)
--------matching_operate.py(6KB)
--------re_rank.py(738B)
--------get_final_data.py(1KB)
--------bert_vect()
--------befaq_conf.ini(2KB)
--------main_faq.py(6KB)
----requirements.txt(174B)
----data()
--------线上用户反馈回复.xlsx(18KB)
----model()
--------.gitkeep(71B)
----LICENSE(11KB)
----bert_server()
--------multi_bert_server.py(2KB)
----README.md(8KB)
----image()
--------BEFAQ 框架.png(70KB)
----sheetname.conf(660B)
----response_xiao.py(619B)
----get_ip.py(475B)
----es()
--------associative_questions_config.ini(117B)
--------associative_questions_server.py(3KB)
--------jieba_befaq.py(2KB)
--------write_data2es.py(3KB)
--------es_del_index.py(1KB)
--------search_model()
--------write_vecs2bin.py(3KB)
--------userdict.txt(331B)
--------es.ini(719B)
--------es_create_index.py(1KB)
--------es_search_cn.py(3KB)
--------es_operate.py(15KB)
--------search_engines_operate.py(2KB)
--------stopwords4_process_question_dedup.txt(452B)
--------read_excel.py(3KB)
--------es_del_data.py(1KB)
--------train_search_model.py(558B)