文件名称：swats:在PyTorch中非官方实现从Adam切换到SGD优化
文件大小：6KB
文件格式：ZIP
更新时间：2024-05-22 13:26:27
optimizer pytorch sgd adam swats
从Adam切换到SGD 表明：“即使在自适应解决方案具有更好的训练性能的情况下，通过自适应方法发现的解决方案的普遍性也比SGD差（通常显着更差）。这些结果表明，从业者应该重新考虑使用自适应方法来训练神经网络。 ” “来自的SWATS，这是ICLR在2018年获得的高分论文，该方法被提议自动从Adam切换到SGD，以获得更好的泛化性能。该算法本身的想法非常简单。它使用Adam，尽管调整得很少，但学习到一定阶段后，由SGD接管。 ” 用法 直接从此git存储库或从pypi使用以下任一命令从pip即可直接安装软件包。 pip install git+https://github.com/Mrpatekful/swats pip install pytorch-swats 安装后，可以将SWATS用作任何其他torch.optim.Optimizer 。 以下代码段简要介绍了如何使用该算
【文件预览】：
swats-master
----setup.py(667B)
----.gitignore(1KB)
----requirements.txt(398B)
----LICENSE(1KB)
----README.md(2KB)
----swats()
--------__init__.py(192B)
--------optim.py(6KB)