DeepSpeedExamples:使用 DeepSpeed 的示例模型

【文件属性】：
文件名称：DeepSpeedExamples:使用 DeepSpeed 的示例模型
文件大小：9.57MB
文件格式：ZIP
更新时间：2021-08-04 23:16:42
Python 深速 此存储库包含使用示例模型。 关于威震天示例的说明 Megatron-LM ：这是 Megatron-LM 的一个相当古老的快照，我们一直在使用它来展示 DeepSpeed 的早期功能。 这不包含 ZeRO-3 或 3D 并行性。 Megatron-LM-v1.1.5-3D_parallelism：这是一个相对较新的 Megatron（2020 年 10 月），但在 Megatron 开始支持 3D 并行之前。 我们移植了这个版本来展示如何在 DeepSpeed 中使用 Megatron 中的 3D 并行性。 Megatron-LM-v1.1.5-ZeRO3：Megatron 底层版本与 3D_parallelism 相同，但不包含 3D 并行端口。 然而，它包含 DeepSpeed 的最新进展，包括 ZeRO-3、ZeRO-3 Offload 和 ZeRO-Infinity。 我