文件名称：Domain-Adaptation:这是一些纽约大学数据科学研究人员和IBM NLP研究小组之间的2021年Spring合作项目
文件大小：165.66MB
文件格式：ZIP
更新时间：2024-04-28 01:46:21
nlp nlu domain-adaptation
领域适应 这是2021年Spring，一些纽约大学数据科学系的学生与IBM NLP研究小组之间的合作项目。 使用同域标记的数据来提高问题解答中预先训练的语言模型的性能 Aditya Singhal，David Shimshoni，Alex Sheng，Avi Sil，Sara Rosenthal 动机 成功完成一项任务的微调可能需要成千上万个金标准数据输入，这可能需要花费数年的时间来收集，或者可能会非常费力且成本高昂。 这种质量和数量并不总是适用于较小域中的特定任务。 但是，针对特定领域的微调的好处已在Lee等人的论文中清楚地显示出来。 Al 2019和Gururangan等。 2020年等人。后者的论文证明了使用无监督语料进行领域自适应预训练（DAPT）可以提高语言模型在同一领域的监督学习任务上的下游表现。 我们认为，成功地使用来自不同受监管任务（例如NER）的稀疏，特定于域的标记数据进