XLNet Generalized Autoregressive Pretraining for Language Unders

【文件属性】：

文件名称：XLNet Generalized Autoregressive Pretraining for Language Unders

文件大小：603KB

文件格式：PDF

更新时间：2022-08-03 23:51:12

摘要由于具有双向上下文建模的能力，像BERT这样基于自动去噪的预训练语言模型比基于自回归的预训练语言模型的性能更好。然而，依赖于使用带掩码损坏的输入，BERT忽