文件名称：基于Sherman-Morrison公式的K-FAC算法
文件大小：1.16MB
文件格式：PDF
更新时间：2024-05-26 05:40:08
深度学习 二阶优化方法 K-FAC算法 Sherman-Morrison公式 Fisher信息矩阵
二阶优化方法可以加速深度神经网络的训练, 但是二阶优化方法巨大的计算成本使其在实际中难以被应用. 因此, 近些年的研究提出了许多近似二阶优化方法的算法. K-FAC算法提供了一种近似自然梯度的有效方法. 在K-FAC算法的基础上, 结合拟牛顿方法的思想, 提出了一种改进的K-FAC算法. 在开始的少量迭代中利用K-FAC算法计算, 在后续迭代中构造秩–1矩阵, 通过Sherman-Morrison公式进行计算, 大大降低了计算复杂度. 实验结果表明, 改进的K-FAC算法比K-FAC算法有相似甚至是更好的实验表现. 特别的, 改进的K-FAC算法与K-FAC算法相比减少了大量的训练时间, 而且与一阶优化方法相比, 在训练时间上仍具有一定的优势.