文件名称：madam:Madam优化器的Pytorch和Jax代码
文件大小：4.9MB
文件格式：ZIP
更新时间：2024-06-11 18:19:25
deep-learning optimizer pytorch neural-networks jax
Optimister女士 ···· · 入门 Jax： 。 Pytorch：获取并将其放置在您的项目目录中。 然后输入： from madam import Madam optimizer = Madam ( net . parameters (), lr = 0.01 , p_scale = 3.0 , g_bound = 10.0 ) 要了解不同的超参数的作用，请注意，对参数w的典型Madam更新是： w --> w exp(± lr). 女士对参数的最大可能更新是： w --> w exp(± g_bound x lr). 最后，将参数剪裁为在± init_scale x p_scale范围内。 推荐的默认初始学习率为lr = 0.01 。 该算法收敛到一个解决方案，该解决方案在真实解决方案周围“抖动”，这时应该降低学习速率。 我们没有对g_bound进行太多实验，
【文件预览】：
madam-master
----synapse.svg(6KB)
----LICENSE(20KB)
----README.md(4KB)
----pytorch()
--------optim()
--------transformer-wikitext2()
--------cifar()
--------imagenet()
--------cGAN()
--------make-plots()
--------README.md(605B)
--------.gitignore(157B)
----jax()
--------fourfeat_demo.ipynb(2MB)
--------movie.gif(3.16MB)
--------madam.py(977B)
--------README.md(953B)