【文件属性】：
文件名称：keras-normalized-optimizers:Keras中归一化梯度下降的包装
文件大小：1.11MB
文件格式：ZIP
更新时间：2021-05-14 11:00:00
JupyterNotebook
Keras归一化优化器
归一化梯度下降的包装器类，几乎可以应用于所有Keras优化器。 部分实现了对所有基本Keras优化器进行，并允许灵活地选择任何归一化函数。 但是，它没有实现自适应学习率。
包装类也可以使用自定义规范指标进行扩展，以允许“渐变蒙版”和“渐变剪切”。
包装类：
NormalizedOptimizer ：根据该梯度的范数对梯度进行归一化。
ClippedOptimizer ：按该梯度的范数修剪该梯度。 注意：仅按本地规范剪辑！
用法
预定义的归一化
NormalizedOptimizer类提供了几个归一化函数，该函数包装了另一个Keras Optimizer。 可用的归一化功能为：
l1： sum(abs(grad)) 。 L1归一化（此处称为最大归一化）。
l2： sqrt(sum(square(grad))) 。 L2归一化（Frobenius范数）是默
【文件预览】：
keras-normalized-optimizers-master
----.travis.yml(808B)
----test_clipped_optimizer.py(7KB)
----images()
--------simple_optm_adam.png(102KB)
--------simple_optm_sgd.png(103KB)
--------lr_dependency_adam.png(72KB)
--------mlp_test.png(51KB)
--------mlp_train.png(53KB)
--------cifar_test.png(46KB)
--------cifar_train.png(46KB)
----LICENSE(1KB)
----test_normalized_optimizer.py(7KB)
----requirements.txt(11B)
----.gitignore(1KB)
----README.md(5KB)
----notebooks()
--------cifar_cnn.ipynb(207KB)
--------simple_optimization.ipynb(515KB)
--------mnist_mlp.ipynb(232KB)
--------utils()
----optimizer.py(16KB)