文件名称:AdamW-and-SGDW:AdamW中Fixing Weight Decay Regularization的AdamW的keras实现(https
文件大小:160KB
文件格式:ZIP
更新时间:2024-05-19 08:45:23
JupyterNotebook
亚当·瓦特和SGDW 伊利亚·洛希奇洛夫(Ilya Loshchilov),弗兰克·哈特(Frank Hutter) [WIP警报] 该存储库仍在进行中。 还没有完全检查AdamW和SGDW的功能。 实现可能是错误的。 用法 请看一下 。 from AdamW import AdamW from SGDW import SGDW # Suggested weight decay factor from the paper: w = w_norm * (b/B/T)**0.5 # b: batch size # B: total number of training points per epoch # T: total number of epochs # w_norm: designed weight decay factor (w is the normalized one).
【文件预览】:
AdamW-and-SGDW-master
----demo_fashion_mnist.ipynb(269KB)
----README.md(956B)
----SGDW.py(3KB)
----AdamW.py(4KB)