文件名称：ToD-BERT:ToD-BERT的预训练模型
文件大小：77KB
文件格式：ZIP
更新时间：2024-05-03 13:15:53
natural-language-processing dialogue pretrained-models bert natural-language-understanding
TOD-BERT：面向任务的对话的预训练自然语言理解 作者：，，和。 EMNLP2020。论文： ：//arxiv.org/abs/2004.06871 介绍 一般文本和面向任务的对话之间的语言模式之间的根本差异使得现有的经过预先训练的语言模型在实践中不太有用。 在这项工作中，我们统一了九种以人为本和多轮面向任务的对话数据集，以进行语言建模。 为了在预训练期间更好地对对话行为进行建模，我们将用户和系统令牌合并到屏蔽语言建模中。 我们提出了一个对比目标函数来模拟响应选择任务。 我们的经过预训练的面向任务的对话BERT（TOD-BERT）在四个下游的面向任务的对话应用程序（包括意图识别，对话状态跟踪，对话行为预测和响应选择）上均优于BERT等强基准。 我们还表明，TOD-BERT具有更强的单发能力，可以缓解面向任务的对话的数据短缺问题。 引文 如果您在工作中使用此仓库中包含的任何源代码，预
【文件预览】：
ToD-BERT-master
----evaluation_ratio_pipeline.sh(8KB)
----models()
--------multi_label_classifier.py(4KB)
--------dual_encoder_ranking.py(6KB)
--------BERT_DST_Picklist.py(12KB)
--------multi_class_classifier.py(6KB)
----run_tod_lm_pretraining.sh(732B)
----main.py(11KB)
----LICENSE(1KB)
----evaluation_pipeline.sh(4KB)
----requirements.txt(173B)
----my_tod_pretraining.py(43KB)
----.gitignore(37B)
----README.md(6KB)
----utils()
--------utils_metalwoz.py(3KB)
--------dataloader_nlu.py(4KB)
--------utils_universal_act.py(5KB)
--------metrics()
--------multiwoz()
--------utils_oos_intent.py(2KB)
--------loss_function()
--------utils_multiwoz.py(12KB)
--------utils_smd.py(3KB)
--------utils_camrest676.py(2KB)
--------utils_general.py(3KB)
--------dataloader_usdl.py(5KB)
--------utils_frames.py(2KB)
--------dataloader_dst.py(7KB)
--------dataloader_dm.py(4KB)
--------utils_msre2e.py(3KB)
--------utils_woz.py(3KB)
--------dataloader_nlg.py(7KB)
--------config.py(9KB)
--------utils_schema.py(3KB)
--------utils_function.py(4KB)
--------utils_taskmaster.py(3KB)