关于NLP模型GPT-2的学习笔记（三）

前面主要介绍了GPT-2的基本原理和工作流程，下面进行一些训练模型和模型使用的实践

首先从github下载GPT-2的程序和部分已经训练好的模型

https://github.com/Morizeyao/GPT2-Chinese

在下载好之后，将程序解压到制定位置，注意路径尽量不要包含中文

文本生成

我们先打开命令行设置路径到对应位置

 

在生成文本时，使用generate.py文件，其中有一些参数可以配置，在生成效果不好时可以调节，--save_samples用于保存生成的文本阳样例

 

 

模型训练

 当进行模型训练时，使用train.py文件，在运行之前，要先选择需要训练的语料，在上面的连接中已经有可用的语料可以下载

下载好语料后，将语料放到/data/train.json文件中，注意要保证文件格式正确

做好准备工作后，就可以开始训练了，运行上一级目录的train.py开始训练，如果电脑性能不足，可以调低其中的部分参数

 

下面就是训练过程，等待全部结束就可以得到训练好的模型了