| 对比项 |
GPT |
BERT |
| 语言模型类型 |
单向语言模型 |
双向语言模型 |
| 模型架构 |
Transformer 解码器 |
Transformer 编码器 |
| 预训练方式 |
语言模型化 |
掩码语言模型化 |
| 预训练原理 |
序列概率估计 |
去噪自编码器 |
| 下游任务 |
语言理解、语言生成 |
语言理解 |
从语言模型类型看，GPT 的单向性使其在生成流畅文本方面更擅长，而 BERT 的双向性让它对文本的理解更深入。模型架构上，基于 Transformer 不同部分构建，决定了它们功能的侧重。预训练方式和原理的差异，直接影响到模型学习到的语言特征和知识。在下游任务应用上，GPT 的应用范围更广，涵盖语言生成和理解，而 BERT 则专注于语言理解任务。