| 模型 | 发表年份 | 模型参数 | 训练数据 | 主要改进点 |
|---|---|---|---|---|
| GPT-1 | 2018 | 1.3B | 40GB | 引入了Transformer模型，并使用自回归生成的方式进行预训练 |
| GPT-2 | 2019 | 1.5B | 40GB | 增加了模型规模，引入了更多的参数，提高训练文本的质量 |
| GPT-3 | 2020 | 175B | 数十TB | 在规模上进一步提升，引入了更多的参数，并采用了更多的数据进行训练 |
| GPT-3.5 | 2022 | 175B | 数十TB | 引入用户反馈的强化学习(RLHF)进行微调 |
| GPT-4 | 2023 | 未公开 | 未公开 | 未公开 |
| 模型 | 发表年份 | 模型参数 | 训练数据 | 主要改进点 |
|---|---|---|---|---|
| GPT-1 | 2018 | 1.3B | 40GB | 引入了Transformer模型，并使用自回归生成的方式进行预训练 |
| GPT-2 | 2019 | 1.5B | 40GB | 增加了模型规模，引入了更多的参数，提高训练文本的质量 |
| GPT-3 | 2020 | 175B | 数十TB | 在规模上进一步提升，引入了更多的参数，并采用了更多的数据进行训练 |
| GPT-3.5 | 2022 | 175B | 数十TB | 引入用户反馈的强化学习(RLHF)进行微调 |
| GPT-4 | 2023 | 未公开 | 未公开 | 未公开 |