文件名称：最新「基于Transformer的预训练模型」综述论文
文件大小：5.63MB
文件格式：PDF
更新时间：2024-09-02 12:31:12
#资源达人分享计划# 预训练模型
基于Transformer的预训练语言模型(T-PTLMs)在几乎所有的自然语言处理任务中都取得了巨大的成功。这些模型的发展始于GPT和BERT。这些模型建立在Transformer、自监督学习和迁移学习的基础上。基于转换的PTLMs通过自监督学习从大量文本数据中学习通用语言表示，并将这些知识转移到下游任务中。这些模型为下游任务提供了良好的背景知识，避免了对下游模型从头开始的训练。