机器学习 - 梯度下降在多参数线性回归模型的应用以及解析

我们通过一个具体的例子来演示多变量线性回归中的梯度下降算法。

示例数据集

假设我们有一个简单的数据集，包含两个特征和一个目标值：

(x_1)	(x_2)	(y)
1	2	5
2	3	8
3	4	11
4	5	14

我们要训练一个线性回归模型，模型的形式为：
$f_{w,b}(x)=w_1\cdot x_1+w_2\cdot x_2+b$

梯度下降步骤

我们从随机初始化的参数 $w_1$、$w_2$ 和 $b$ 开始，然后通过梯度下降算法迭代地更新这些参数。

初始化

假设：

• 初始权重$w_1=0$、$w_2=0$
• 初始偏置 $b=0$
• 学习率 $\alpha =0.01$
• 迭代次数为 2 次（为了简洁）

计算梯度

我们需要计算每个参数的偏导数，并用这些偏导数来更新参数。

第一次迭代

计算偏导数

1. 计算预测值和误差:
   $$\text{预测值}{f}_{w,b}(x^{(i)})=w_1\cdot x_1^{(i)}+w_2\cdot x_2^{(i)}+b$$
   对于每个样本，我们计算预测值和误差：

   • 对于第一个样本 (1, 2, 5):
     $$\begin{gathered} f_{w,b}(x^{(1)})=0\cdot 1+0\cdot 2+0=0 \\ \text{误差}=0-5=-5 \end{gathered}$$
   • 对于第二个样本 (2, 3, 8):
     $$\begin{gathered} f_{w,b}(x^{(2)})=0\cdot 2+0\cdot 3+0=0 \\ \text{误差}=0-8=-8 \end{gathered}$$
   • 对于第三个样本 (3, 4, 11):
     $$\begin{gathered} f_{w,b}(x^{(3)})=0\cdot 3+0\cdot 4+0=0 \\ \text{误差}=0-11=-11 \end{gathered}$$
   • 对于第四个样本 (4, 5, 14):
     $$\begin{gathered} f_{w,b}(x^{(4)})=0\cdot 4+0\cdot 5+0=0 \\ \text{误差}=0-14=-14 \end{gathered}$$

2. 计算梯度:
   $$\begin{gathered} \frac{\partial J}{\partial w_1}=\frac{1}{m}\sum _{i=1}^m(f_{w,b}(x^{(i)})-y^{(i)})\cdot x_1^{(i)} \\ \frac{\partial J}{\partial w_2}=\frac{1}{m}\sum _{i=1}^m(f_{w,b}(x^{(i)})-y^{(i)})\cdot x_2^{(i)} \end{gathered}$$