文件名称：预处理随机梯度下降：将随机梯度下降方法升级为二阶优化方法-matlab开发
文件大小：569KB
文件格式：ZIP
更新时间：2024-06-20 22:07:58
matlab
该软件包演示了论文http://arxiv.org/abs/1512.04202中提出的方法，该方法展示了如何通过预处理将随机梯度下降 (SGD) 方法升级为二阶优化方法。 更多资料（伪代码、更多示例和论文）放在https://sites.google.com/site/lixilinx/home/psgd 上。 所附文件的说明binary_pattern.m 该文件生成斑马条纹状二进制图案，供我们的四种测试算法学习。 plain_SGD.m 该演示展示了如何使用标准 SGD 通过最小化逻辑损失来训练神经网络。 像往常一样，SGD 需要一些调整工作。 小步长的收敛太慢，大步长的收敛太慢。 preconditioned_SGD_dense.m 此演示展示了如何使用密集预处理器对 SGD 进行预处理以提高其收敛性。 我们确实需要在每次迭代中计算两次梯度，但收敛速度要快得多，并且需要的调整