文件名称：adaptive_gradient_clipping
文件大小：128KB
文件格式：ZIP
更新时间：2024-04-23 12:24:43
Python
自适应梯度削波 自适应梯度削波首先是在引入的。 agc背后的原因是要改善梯度剪切的弱点，它需要使用静态梯度阈值进行剪切。 但是在大多数情况下，此阈值对超参数和参数本身的不同设置敏感。 agc允许滑动阈值根据参数和梯度之间的范数比率进行更改。 可以将其视为渐变夹的松弛。 简要的理论在幕后进行了解释 当使用梯度下降优化算法训练神经网络时，当参数变化和参数之间的比率较大时，训练过程将是不稳定的。 因此，我们可以考虑使用梯度范数与参数范数之比来衡量对于网络的特定层更新是否会不稳定。 该比率也可以作为控制更新大小应如何的因素。 如果比率太大，则削波效果会更强，以稳定渐变更新。 如何使用 # to use this repo, just clone the repo in your own project/repo and import as below. the import path may be
【文件预览】：
adaptive_gradient_clipping-main
----efficient_net()
--------efficient_net_model.py(2KB)
----LICENSE(1KB)
----src()
--------utils.py(544B)
--------agc.py(2KB)
----nfn()
--------nfn.py(11KB)
--------nf_base.py(24KB)
----doc()
--------accuracy.png(79KB)
--------loss.png(86KB)
----exp.py(4KB)
----README.md(2KB)