文件名称：FinBERT-QA:使用预训练的 BERT 语言模型进行金融领域问答
文件大小：142.71MB
文件格式：ZIP
更新时间：2024-06-18 13:49:01
natural-language-processing information-retrieval deep-learning question-answering financial-data
FinBERT-QA：使用 BERT 回答金融问题 FinBERT-QA 是一个问答系统，用于从数据集的任务 2 中检索有金融段落。 请参阅获取更多信息。 该系统使用来自信息检索和自然语言处理的技术，首先使用 Lucene 工具包检索每个查询的前 50 个候选答案，然后使用预训练的模型的变新排列候选答案。 FinBERT-QA 从 Huggingface 的库构建并应用 Transfer and Adapt [ ] 方法，首先将预训练的 BERT 模型转移并微调到一般 QA 任务，然后使用 FiQA 数据集将该模型适应金融领域。 转移步骤在的数据集上使用微调的 BERT 模型 ，它从 TensorFlow 转换为 PyTorch 模型。 在三个排名评估指标（nDCG、MRR、Precision）上结果平均提高了约 20%。 Overview of the QA pipeline:
【文件预览】：
FinBERT-QA-master
----Dockerfile(876B)
----.gitignore(95B)
----README.md(15KB)
----retriever()
--------lucene-index-fiqa()
--------answer_collection.tsv(42.65MB)
--------collection_json()
--------indexer.sh(275B)
--------test_answers.csv(1.01MB)
----src()
--------predict.py(1KB)
--------process_data.py(5KB)
--------finbert_qa.py(38KB)
--------train_models.py(4KB)
--------generate_data.py(9KB)
--------evaluate.py(6KB)
--------evaluate_models.py(3KB)
--------utils.py(8KB)
--------qa_lstm.py(16KB)
----img()
--------QA_pipeline.png(79KB)
----requirements.txt(182B)
----notebooks()
--------Retriever_Analysis.ipynb(5KB)
--------Process_Data.ipynb(29KB)
----data()
--------raw()
--------id_to_text()
--------qa_lstm_tokenizer()
--------rank()
--------data_pickle()
--------sample()