关于NLP模型GPT-2的学习笔记(三)

时间:2024-03-04 21:29:30

前面主要介绍了GPT-2的基本原理和工作流程,下面进行一些训练模型和模型使用的实践

首先从github下载GPT-2的程序和部分已经训练好的模型

https://github.com/Morizeyao/GPT2-Chinese

在下载好之后,将程序解压到制定位置,注意路径尽量不要包含中文

文本生成

我们先打开命令行设置路径到对应位置

 

在生成文本时,使用generate.py文件,其中有一些参数可以配置,在生成效果不好时可以调节,--save_samples用于保存生成的文本阳样例

 

 

模型训练

 当进行模型训练时,使用train.py文件,在运行之前,要先选择需要训练的语料,在上面的连接中已经有可用的语料可以下载

下载好语料后,将语料放到/data/train.json文件中,注意要保证文件格式正确

做好准备工作后,就可以开始训练了,运行上一级目录的train.py开始训练,如果电脑性能不足,可以调低其中的部分参数

 

下面就是训练过程,等待全部结束就可以得到训练好的模型了