文件名称：梯度下降-贴片电子元件丝印查询（带完整目录）
文件大小：7.67MB
文件格式：PDF
更新时间：2024-06-30 14:44:07
机器学习
2.5 梯度下降 参考视频: 2 - 5 - Gradient Descent (11 min).mkv 梯度下降是一个用来求函数最小值的算法，我们将使用梯度下降算法来求出代价函数 J(θ0,θ1) 的最小值。 梯度下降背后的思想是：开始时我们随机选择一个参数的组合（θ0,θ1,...,θn），计算代价 函数，然后我们寻找下一个能让代价函数值下降最多的参数组合。我们持续这么做直到到到 一个局部最小值（local minimum），因为我们并没有尝试完所有的参数组合，所以不能确定 我们得到的局部最小值是否便是全局最小值（global minimum），选择不同的初始参数组合， 可能会找到不同的局部最小值。 批量梯度下降（batch gradient descent）算法的公式为： 其中 α 是学习率（learning rate），它决定了我们沿着能让代价函数下降程度最大的方 向向下迈出的步子有多大，在批量梯度下降中，我们每一次都同时让所有的参数减去学习速 率乘以代价函数的导数。