【文件属性】：
文件名称：explore-gradients:探索梯度消失和爆炸的问题
文件大小：113KB
文件格式：ZIP
更新时间：2021-05-02 08:43:00
JupyterNotebook
深度神经网络中的爆炸和消失梯度
增加神经网络的深度通常会提高准确性。 但是，随着神经网络中层数的增加，损失函数相对于未知参数（权重和偏差）的梯度可能会爆炸或消失。
相关工作
这是一些最近的论文，探讨了梯度爆炸或消失或两者兼而有之的问题。
Gradeint消失和爆炸问题
爆炸梯度问题变得神秘-定义，普遍性，影响，起源，权衡和解决方案（ ）
破碎的梯度问题：如果resnets是答案，那么问题是什么？ （ ）
深均场理论：分层方差和宽度变化作为控制梯度爆炸的方法（ ）
深度神经网络的稳定架构（ ）
平均场残留网络：处于混沌边缘（ ）
递归神经网络
单一进化递归神经网络（ ）
递归神经网络的最新进展（ ）
多一点
深度信息传播（ ）
通过瞬态混沌在深层神经网络中的指数表达（ ）
跨尺度学习-卷积神经网络的多尺度方法（ ）
适用于任意深度残差神经网络的可逆架构（
【文件预览】：
explore-gradients-master
----grad_plots.ipynb(146KB)
----MLP_Loop_Skip.py(3KB)
----README.md(3KB)
----MLP_Loop.py(2KB)