文件名称：explore-gradients:探索梯度消失和爆炸的问题
文件大小：113KB
文件格式：ZIP
更新时间：2024-05-22 02:29:40
JupyterNotebook
深度神经网络中的爆炸和消失梯度 增加神经网络的深度通常会提高准确性。 但是，随着神经网络中层数的增加，损失函数相对于未知参数（权重和偏差）的梯度可能会爆炸或消失。 相关工作 这是一些最近的论文，探讨了梯度爆炸或消失或两者兼而有之的问题。 Gradeint消失和爆炸问题 爆炸梯度问题变得神秘-定义，普遍性，影响，起源，权衡和解决方案（ ） 破碎的梯度问题：如果resnets是答案，那么问题是什么？ （ ） 深均场理论：分层方差和宽度变化作为控制梯度爆炸的方法（ ） 深度神经网络的稳定架构（ ） 平均场残留网络：处于混沌边缘（ ） 递归神经网络 单一进化递归神经网络（ ） 递归神经网络的最新进展（ ） 多一点 深度信息传播（ ） 通过瞬态混沌在深层神经网络中的指数表达（ ） 跨尺度学习-卷积神经网络的多尺度方法（ ） 适用于任意深度残差神经网络的可逆架构（
【文件预览】：
explore-gradients-master
----grad_plots.ipynb(146KB)
----MLP_Loop_Skip.py(3KB)
----README.md(3KB)
----MLP_Loop.py(2KB)