【文件属性】：
文件名称：a-tour-of-pytorch-optimizers:在PyTorch中浏览不同的优化算法
文件大小：1.15MB
文件格式：ZIP
更新时间：2021-05-25 03:25:36
optimization pytorch adadelta sgd optimization-algorithms
PyTorch优化器之旅
在本教程的回购中，我们将介绍各种梯度下降优化算法，介绍它们的工作原理，然后在PyTorch（1.6或更高版本）中实现它们。
本教程针对那些了解梯度下降的主要概念的人-反复采取步骤以针对一组参数计算的损失函数的梯度方向-但不确定常见的优化算法如何工作。 也不需要反向传播的知识，我们需要知道的是，它是一种计算用于梯度下降的梯度的方法。 如果您需要重温以上两个概念中的任何一个，我建议您使用课程。
我们将介绍以下优化算法：
新元
新元势头强劲
阿达格勒
阿达达
RMSprop
亚当
将来可能会添加更多！
最好通过链接在Jupyter的NBViewer中渲染笔记本，因为GitHub在笔记本中渲染方程式做得很差。
如果您发现任何错误或有任何反馈，请提交，我将尽快答复。
资源
【文件预览】：
a-tour-of-pytorch-optimizers-main
----a-tour-of-pytorch-optimizers.ipynb(1.58MB)
----LICENSE(1KB)
----.gitignore(2KB)
----README.md(2KB)