GPT 模型基于 Transformer架构，使用单向(从左到右)的Transformer 解码器进行预训练。预训练过程在大量无标签文本上进行，目标是通过给定的上下文预测下一个单词。
GPT模型中，采用了生成式自回归这种基于已有序列来预测下一个元素的方法。在训练阶段，模型通过大量文本数据学习生成下一个词的能力;在预测阶段，模型利用训练好的参数来生成一段连贯的文本。
学习的参考资料：
（1）书籍
利用Python进行数据分析
西瓜书
百面机器学习
机器学习实战
阿里云天池大赛赛题解析(机器学习篇)
白话机器学习中的数学
零基础学机器学习
图解机器学习算法
动手学深度学习（pytorch）
…
（2）机构
光环大数据
开课吧
极客时间
七月在线
深度之眼
贪心学院
拉勾教育
博学谷
慕课网
海贼宝藏
…