SGD及其变体1

【文件属性】：

文件名称：SGD及其变体1

文件大小：1.4MB

文件格式：PDF

更新时间：2022-08-03 15:12:24

神经网络 算法 batch 矩阵

引入了新的变量来充当“惯性”或者“速度”的角色。使用momentum的SGD算法更新时使用上一步的动量减去当前的梯度（即加上负梯度）。动量 被定义为之前所有梯度