文件名称：Question-Answering-with-BERT-and-Knowledge-Distillation:在SQuAd 2.0数据集上对BERT进行了微调。 使用BERT作为教师模型的应用知识蒸馏（KD）和经过微调的DistilBERT（学生）。 将原始BERT的大小减少了40％
文件大小：806KB
文件格式：ZIP
更新时间：2024-06-10 23:35:11
transformers question-answering knowledge-distillation bert distilbert
BERT和知识提炼的问题解答 该存储库包含必要的代码，以便微调SQuAD 2.0数据集上的BERT。 此外，的技术是通过微调施加使用BERT作为教师模型小队2.0数据集。 使用Google Colab的1个Tesla V100 GPU获得了所有结果。 1.什么是SQuAD？ 斯坦福问答数据集（SQuAD）是一种阅读理解数据集，由人群工作人员在一组Wikipedia文章上提出的问题组成，其中每个问题的答案是对应阅读段落或问题的一段文本或跨度可能无法回答。 SQuAD 2.0将SQuAD 1.1中的100,000个问题与超过50,000个由对抗性工作者对抗性编写的问题相结合，看起来类似于可回答的问题。 为了在SQuAD 2.0上取得出色的成绩，系统不仅必须在可能的情况下回答问题，而且还必须确定该段落何时不支持任何答案并放弃回答。 有关SQuAD数据集和当前排行榜的更多信息，您可以访问以下。
【文件预览】：
Question-Answering-with-BERT-and-Knowledge-Distillation-main
----models()
--------special_tokens_map.json(112B)
--------train_results.txt(103B)
--------eval_results.txt(330B)
--------config.json(619B)
--------trainer_state.json(1007B)
--------vocab.txt(226KB)
--------training_args.bin(2KB)
--------tokenizer_config.json(252B)
----args.json(408B)
----Fine_Tune_BERT_SQuAD_2_0.ipynb(38KB)
----Eval_SQuAD_2_0.ipynb(33KB)
----trainer_qa.py(5KB)
----utils_qa.py(22KB)
----LICENSE(1KB)
----README.md(3KB)
----Knowledge_Distillation()
--------Without_Distillation_Fine_Tune_DistilBERT_SQuAD_2_0.ipynb(38KB)
--------models_with_distillation()
--------Eval_SQuAD_2_0.ipynb(32KB)
--------trainer_qa.py(5KB)
--------utils_qa.py(22KB)
--------utils.py(4KB)
--------With_Distillation_Fine_Tune_DistilBERT_SQuAD_2_0.ipynb(49KB)
--------README.md(817B)
--------data()
--------models_without_distillation()