文件名称：keras-normalized-optimizers:Keras中归一化梯度下降的包装
文件大小：1.11MB
文件格式：ZIP
更新时间：2024-06-03 04:46:40
JupyterNotebook
Keras归一化优化器 归一化梯度下降的包装器类，几乎可以应用于所有Keras优化器。 部分实现了对所有基本Keras优化器进行，并允许灵活地选择任何归一化函数。 但是，它没有实现自适应学习率。 包装类也可以使用自定义规范指标进行扩展，以允许“渐变蒙版”和“渐变剪切”。 包装类： NormalizedOptimizer ：根据该梯度的范数对梯度进行归一化。 ClippedOptimizer ：按该梯度的范数修剪该梯度。 注意：仅按本地规范剪辑！ 用法 预定义的归一化 NormalizedOptimizer类提供了几个归一化函数，该函数包装了另一个Keras Optimizer。 可用的归一化功能为： l1： sum(abs(grad)) 。 L1归一化（此处称为最大归一化）。 l2： sqrt(sum(square(grad))) 。 L2归一化（Frobenius范数）是默
【文件预览】：
keras-normalized-optimizers-master
----.travis.yml(808B)
----test_clipped_optimizer.py(7KB)
----images()
--------simple_optm_adam.png(102KB)
--------simple_optm_sgd.png(103KB)
--------lr_dependency_adam.png(72KB)
--------mlp_test.png(51KB)
--------mlp_train.png(53KB)
--------cifar_test.png(46KB)
--------cifar_train.png(46KB)
----LICENSE(1KB)
----test_normalized_optimizer.py(7KB)
----requirements.txt(11B)
----.gitignore(1KB)
----README.md(5KB)
----notebooks()
--------cifar_cnn.ipynb(207KB)
--------simple_optimization.ipynb(515KB)
--------mnist_mlp.ipynb(232KB)
--------utils()
----optimizer.py(16KB)