面向自然语言处理的预训练技术研究综述

【文件属性】：

文件名称：面向自然语言处理的预训练技术研究综述

文件大小：1.64MB

文件格式：PDF

更新时间：2023-05-14 20:07:01

NLP 预训练技术

文中首先概述预训练技术及其发展历史,并详细介绍自然语言处理领域的经典预训练技术,包括早期的静态预训练技术和经典的动态预训练技术;然后简要梳理一系列新式的有启发意义的预训练技术,包括基于BERT的改进模型和XLNet;在此基础上,分析目前预训练技术研究所面临的问题;最后对预训练技术的未来发展趋势进行展望。