文件名称：a-tour-of-pytorch-optimizers:在PyTorch中浏览不同的优化算法
文件大小：1.15MB
文件格式：ZIP
更新时间：2024-06-13 21:12:16
optimization pytorch adadelta sgd optimization-algorithms
PyTorch优化器之旅 在本教程的回购中，我们将介绍各种梯度下降优化算法，介绍它们的工作原理，然后在PyTorch（1.6或更高版本）中实现它们。 本教程针对那些了解梯度下降的主要概念的人-反复采取步骤以针对一组参数计算的损失函数的梯度方向-但不确定常见的优化算法如何工作。 也不需要反向传播的知识，我们需要知道的是，它是一种计算用于梯度下降的梯度的方法。 如果您需要重温以上两个概念中的任何一个，我建议您使用课程。 我们将介绍以下优化算法： 新元 新元势头强劲 阿达格勒 阿达达 RMSprop 亚当 将来可能会添加更多！ 最好通过链接在Jupyter的NBViewer中渲染笔记本，因为GitHub在笔记本中渲染方程式做得很差。 如果您发现任何错误或有任何反馈，请提交，我将尽快答复。 资源
【文件预览】：
a-tour-of-pytorch-optimizers-main
----a-tour-of-pytorch-optimizers.ipynb(1.58MB)
----LICENSE(1KB)
----.gitignore(2KB)
----README.md(2KB)