综述预训练模型的过去、现在与未来

【文件属性】：
文件名称：综述预训练模型的过去、现在与未来
文件大小：2.92MB
文件格式：PDF
更新时间：2021-09-07 15:31:40
预训练模型 过去 现在 未来 BERT 、GPT 等大规模预训练模型（PTM）近年来取得了巨大成功，成为人工智能领域的一个里程碑。由于复杂的预训练目标和巨大的模型参数，大规模 PTM 可以有效地从大量标记和未标记的数据中获取知识。