NVIDIA开源面向精简混合精度和分布式训练的Pytorch扩展-python

【文件属性】：
文件名称：NVIDIA开源面向精简混合精度和分布式训练的Pytorch扩展-python
文件大小：760KB
文件格式：ZIP
更新时间：2021-06-18 18:06:57
机器学习 NVIDIA开源面向精简混合精度和分布式训练的Pytorch扩展 简介 此存储库包含 NVIDIA 维护的实用程序，用于简化 Pytorch 中的混合精度和分布式训练。 这里的一些代码最终会被包含在上游 Pytorch 中。 Apex 的目的是尽快向用户提供最新的实用程序。 完整的 API 文档：https://nvidia.github.io/apex GTC 2019 和 Pytorch DevCon 2019 幻灯片 内容 1. Amp：自动混合精度 apex.amp 是一种工具，可通过仅更改 3 行脚本来启用混合精度训练。 通过向 amp.initialize 提供不同的标志，用户可以轻松地试验不同的纯和混合精度训练模式。 介绍 Amp 的网络研讨会（标志 cast_batchnorm 已重命名为 keep_batchnorm_fp32）。 API 文档 全面的 Imagenet 示例 DCGAN 示例即将推出......转向新的 Amp API（适用于已弃用的“Amp”和“FP16_Optimizer”API 的用户） 2. 分布式训练 apex.parallel