Stochastic Gradient Descent 随机梯度下降法-R实现

时间:2023-03-08 16:28:33

随机梯度下降法 

【转载时请注明来源】:http://www.cnblogs.com/runner-ljt/

Ljt

作为一个初学者,水平有限,欢迎交流指正。

批量梯度下降法在权值更新前对所有样本汇总误差,当样本较多时,其计算量就会非常大。

随机梯度下降法的权值更新是通过单个的样本进行更新,每读取一条样本数据就对所有权值进行一次更新,然后判断是否收敛,若不收敛则继续代入样本数据进行更新。

随机梯度下降法使损伤函数趋近最小值的速度更快,但是可能造成永远不能收敛到最小值,或一直在最小值周围震荡。

设置固定步长的随机梯度下降法的R实现:

#Stochastic Gradient Descent 随机梯度下降法
#x为数据矩阵(mxn m:样本数 n:特征数 );y观测值;error终止条件;maxiter最大迭代次数 StochasticGradientDescent<-function(x,y,error,maxiter,step=0.001){
m<-nrow(x)
x<-cbind(matrix(1,m,1),x)
n<-ncol(x)
theta<-matrix(rep(0,n),n,1) #ktheta初始值都设置为0
iter<-0 #迭代次数
k<-0 #第k个样本
newerror<-1
while(iter<maxiter|newerror>error){
iter<-iter+1
k<-k+1
ifelse(k>m,k<-k%%m,k)
xk<-x[k,,drop=FALSE]
yk<-y[k,,drop=FALSE]
hk<-xk%*%theta
des<-t((hk-yk)%*%xk)
new_theta<-theta-step*des
newerror<-t(new_theta-theta)%*%(new_theta-theta)
theta<-new_theta
}
costfunction<-t(x%*%theta-y)%*%(x%*%theta-y)
result<-list(theta,iter,costfunction)
names(result)<-c('系数','迭代次数','误差')
result
}