Gradient Descent 矩阵python实现

梯度下降法的矩阵方式描述
主要讲解梯度下降法的矩阵方式表述，要求有一定的矩阵分析的基础知识，尤其是矩阵求导的知识。
1. 先决条件：需要确认优化模型的假设函数和损失函数。对于线性回归，假设函数

hΘ(x)=Θ0x0+Θ1x1+Θ2x2+⋯+Θnxn $$h_{\mathrm{\Theta }}(x)={\mathrm{\Theta }}_0{x}_0+{\mathrm{\Theta }}_1{x}_1+{\mathrm{\Theta }}_2{x}_2+\cdots +{\mathrm{\Theta }}_n{x}_n$$

的矩阵表达方式为：

hΘ(x)=XΘ $$h_{\mathrm{\Theta }}(x)=X\mathrm{\Theta }$$

其中， 假设函数 hΘ $h_{\mathrm{\Theta }}$ 为 y^(m∗1) ${\hat{y}}_{(m\ast 1)}$ 的矩阵, Θ $\mathrm{\Theta }$ 为 Θ(n∗1) ${\mathrm{\Theta }}_{(n\ast 1)}$ 的向量，里面有n个代数法的模型参数。 X(m∗n)维的矩阵。m代表样本的个数，n代表样本的特征数。损失函数的表达式为 $X_{(m\ast n)}维的矩阵。m代表样本的个数，n代表样本的特征数。损失函数的表达式为$ J(Θ)=12(XΘ−Y)T(XΘ−Y) $J(\mathrm{\Theta })=\frac{1}{2}(X\mathrm{\Theta }-Y{)}^T(X\mathrm{\Theta }-Y)$ ,其中 $,其中$ Y(m∗1) $Y_{(m\ast 1)}$ 是样本的输出向量，维度为m*1, 12 $\frac{1}{2}$ 是一个额外加上的系数，用于抵消二元导数的2
2. 算法相关参数初始化: θ 向量可以初始化为默认值，或者调优后的值。算法终止距离ε，步长α
在这里推导一下上述公式，从一维的角度进行推导：

hΘ(x)=Θ0x0+θ1x1+θ2x2+⋯+θnxn $$h_{\mathrm{\Theta }}(x)={\mathrm{\Theta }}_0{x}_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\cdots +{\theta }_n{x}_n$$

y^=hΘ(x)=∑i=0nΘixi $$\hat{y}=h_{\mathrm{\Theta }}(x)=\underset{i=0}{\overset{n}{\sum }}{\mathrm{\Theta }}_i{x}_i$$

L(Θ)=12∑j=0m(y^−y)2 $$L(\mathrm{\Theta })=\frac{1}{2}\underset{j=0}{\overset{m}{\sum }}(\hat{y}-y{)}^2$$

ΔL(Θ)ΔΘi=Δ（12∑mj=0(y^−y)2）ΔΘi $$\frac{\mathrm{\Delta }L(\mathrm{\Theta })}{\mathrm{\Delta }{\mathrm{\Theta }}_i}=\frac{\mathrm{\Delta }（\frac{1}{2}\underset{j=0}{\overset{m}{\sum }}(\hat{y}-y{)}^2）}{\mathrm{\Delta }{\mathrm{\Theta }}_i}$$

0+⋯+m的累和是m个特征点累和当只看一个样本时，上式可看成： $0+\cdots +m的累和是m个特征点累和当只看一个样本时，上式可看成：$

Δ(12(y^−y)2)ΔΘi=(y^−y)∗Δ(hΘ(x))ΔΘi=(y^−y)∗xi $$\frac{\mathrm{\Delta }(\frac{1}{2}(\hat{y}-y{)}^2)}{\mathrm{\Delta }{\mathrm{\Theta }}_i}=(\hat{y}-y)\ast \frac{\mathrm{\Delta }(h_{\mathrm{\Theta }}(x))}{\mathrm{\Delta }{\mathrm{\Theta }}_i}=(\hat{y}-y)\ast x_i$$

得到多维： $$得到多维：$$

L(Θ)=∑j=0m(y^j−yj)∗xj $$L(\mathrm{\Theta })=\underset{j=0}{\overset{m}{\sum }}({\hat{y}}_j-y_j)\ast x_j$$

1. x = np.array(x) # X(m∗n) $X_{(m\ast n)}$
2. y = np.array(y) # Y(m∗1) $Y_{(m\ast 1)}$ #m是样本个数，n是特征点个数
3. x= np.concatenate((np.ones((x.shape[0],1)),x), axis=1) #add bias
4. x_t = x.transpose()
4. w = mp.zero.(len(x[0]) #w.shape = n+1 value = 0
5. x_tmp = np.dot(x,w) # this is y^ $\hat{y}$
6. loss = x_tmp - y
7. gra = np.dot(x_t, loss) #在这里只要进行这样的矩阵乘法就是实现上述的公式