前面主要介绍了GPT-2的基本原理和工作流程,下面进行一些训练模型和模型使用的实践
首先从github下载GPT-2的程序和部分已经训练好的模型
https://github.com/Morizeyao/GPT2-Chinese
在下载好之后,将程序解压到制定位置,注意路径尽量不要包含中文
文本生成
我们先打开命令行设置路径到对应位置
在生成文本时,使用generate.py文件,其中有一些参数可以配置,在生成效果不好时可以调节,--save_samples用于保存生成的文本阳样例
模型训练
当进行模型训练时,使用train.py文件,在运行之前,要先选择需要训练的语料,在上面的连接中已经有可用的语料可以下载
下载好语料后,将语料放到/data/train.json文件中,注意要保证文件格式正确
做好准备工作后,就可以开始训练了,运行上一级目录的train.py开始训练,如果电脑性能不足,可以调低其中的部分参数
下面就是训练过程,等待全部结束就可以得到训练好的模型了