文件名称：madgrad:MADGRAD优化方法
文件大小：1.07MB
文件格式：ZIP
更新时间：2024-04-22 11:56:40
Python
MADGRAD优化方法 随机优化的动量自适应双对数梯度方法 pip install madgrad 试试看！ 具有SGD泛化性能且至少与Adam一样快的收敛速度（通常更快）的两全其美的优化器。 提供了一个嵌入式Torch.optim实现madgrad.MADGRAD ，以及一个FairSeq包装实例。 对于FairSeq，只需将madgrad导入项目文件中的任何位置，然后使用--optimizer madgrad命令行选项，以及--weight-decay ，-- --momentum和可选的--madgrad_eps 。 如果您不想通过pip进行安装，则可以将包含优化程序的madgrad.py文件直接放入任何PyTorch项目中。 如果您使用的是fairseq，则还需要随附的fairseq_madgrad.py文件。 可从文档。 注意事项： 您可能需要使用比通常更低的重量衰减。
【文件预览】：
madgrad-master
----setup.py(845B)
----requirements.txt(15B)
----.readthedocs.yml(409B)
----pyproject.toml(282B)
----madgrad()
--------__init__.py(330B)
--------fairseq_madgrad.py(3KB)
--------madgrad.py(7KB)
----CONTRIBUTING.md(1KB)
----CODE_OF_CONDUCT.md(3KB)
----LICENSE(1KB)
----README.md(3KB)
----tests()
--------test_madgrad.py(3KB)
----figures()
--------nlp.png(361KB)
--------vision.png(771KB)
----.vscode()
--------settings.json(69B)
----docs()
--------requirements.txt(94B)
--------Makefile(638B)
--------source()