文件名称：为什么你的神经网络仍然是奇异的，你能做些什么-研究论文
文件大小：2.59MB
文件格式：PDF
更新时间：2024-06-30 02:56:12
Neural Network Gradient
我们研究了神经网络正则化技术的影响。 首先，我们通过 dropout 和训练随机性对梯度下降的影响进行正式推理。 然后，我们在 ImageNet 数据集上进行分类实验，以及在 OneNow 强化学习数据集上进行回归实验。 网络层的权重矩阵通过奇异值分解和调节比率进行量化。 我们的回归网络似乎条件良好。 然而，我们发现大规模分类应用的学习可能会受到不良条件的限制。 我们提出了可能证明学习突破的方法，提供早期证据。 我们引入了梯度扰动层，这是一种通过实验最大化泛化的方法。 我们的数值分析展示了在调节峰值时引入网络电路压缩的机会，依赖于层权重的主要成分。 通常，我们建议将条件作为目标函数约束。