文件名称：AdamP:亚当
文件大小：8KB
文件格式：ZIP
更新时间：2024-04-07 14:06:23
machine-learning deep-learning optimizer pytorch optimizer-algorithms
AdamP：降低比例不变权重的动量优化器的减慢速度（ICLR 2021） AdamP和SGDP优化器的PyTorch官方实施|| Byeongho许*，Sanghyuk春*，洪城俊哦，Dongyoon汉，尚道蕴，Gyuwan金，Youngjung嗯，正宇哈。 *表示相等的贡献 NAVER AI LAB，NAVER CLOVA 抽象的 规范化技术是现代深度学习的福音。它们使权重收敛更快，通常具有更好的泛化性能。有人认为，权重之间的归一化引起的尺度不变性为梯度下降（GD）优化器提供了有利的基础：有效步长会随时间自动减小，从而稳定了整个训练过程。然而，通常被忽视的是，在GD优化器中额外引入动量会导致比例不变权重的有效步长更快地减小，这种现象尚未得到研究，并且可能会导致不希望出现的副作用。目前的做法。这是一个至关重要的问题，因为可以说现代深度神经网络的绝大多数由（1）基于动量的GD（例如SGD或
【文件预览】：
AdamP-master
----adamp()
--------sgdp.py(3KB)
--------__init__.py(77B)
--------adamp.py(3KB)
----NOTICE(3KB)
----LICENSE(1KB)
----setup.py(619B)
----.gitignore(58B)
----README.md(5KB)