batch gradient descent(批量梯度下降) 和 stochastic gradient descent(随机梯度下降)

时间:2022-03-26 10:08:00

批量梯度下降是一种对参数的update进行累积,然后批量更新的一种方式。用于在已知整个训练集时的一种训练方式,但对于大规模数据并不合适。

随机梯度下降是一种对参数随着样本训练,一个一个的及时update的方式。常用于大规模训练集,当往往容易收敛到局部最优解。

详细参见:Andrew Ng 的Machine Learning的课件(见参考1)

可能存在的改进

1)样本可靠度,特征完备性的验证

例如可能存在一些outlier,这种outlier可能是测量误差,也有可能是未考虑样本特征,例如有一件衣服色彩评分1分,料子1分,确可以卖到10000万元,原来是上面有一个姚明的签名,这个特征没有考虑,所以出现了训练的误差,识别样本中outlier产生的原因。

2)批量梯度下降方法的改进

      并行执行批量梯度下降

3)随机梯度下降方法的改进

找到一个合适的训练路径(学习顺序),去最大可能的找到全局最优解

4)假设合理性的检验

H(X)是否合理的检验

5)维度放大

维度放大和过拟合问题,维度过大对训练集拟合会改善,对测试集的适用性会变差,如果找到合理的方法?

下面是我做的一个实验

假定有这样一个对衣服估价的训练样本,代码中matrix表示,第一列表示色彩的评分,第二列表示对料子质地的评分,例如第一个样本1,4表示这件衣服色彩打1分,料子打4分。我们需要训练的是theta,其表示在衣服的估价中,色彩和料子的权重,这个权重是未知量,是需要训练的,训练的依据是这四个样本的真实价格已知,分别为19元,...20元。

通过批量梯度下降和随机梯度下降的方法均可得到theta_C={3,4}T

/*

Matrix_A

1   4

2   5

5   1

4   2

theta_C

?

?

Matrix_A*theta_C

19

26

19

20

*/

批量梯度下降法:

  1. #include "stdio.h"
  2. int main(void)
  3. {
  4. float matrix[4][2]={{1,4},{2,5},{5,1},{4,2}};
  5. float result[4]={19,26,19,20};
  6. float theta[2]={2,5};                   //initialized theta {2,5}, we use the algorithm to get {3,4} to fit the model
  7. float learning_rate = 0.01;
  8. float loss = 1000.0;                    //set a loss big enough
  9. for(int i = 0;i<100&&loss>0.0001;++i)
  10. {
  11. float error_sum = 0.0;
  12. for(int j = 0;j<4;++j)
  13. {
  14. float h = 0.0;
  15. for(int k=0;k<2;++k)
  16. {
  17. h += matrix[j][k]*theta[k];
  18. }
  19. error_sum = result[j]-h;
  20. for(int k=0;k<2;++k)
  21. {
  22. theta[k] += learning_rate*(error_sum)*matrix[j][k];
  23. }
  24. }
  25. printf("*************************************\n");
  26. printf("theta now: %f,%f\n",theta[0],theta[1]);
  27. loss = 0.0;
  28. for(int j = 0;j<4;++j)
  29. {
  30. float sum=0.0;
  31. for(int k = 0;k<2;++k)
  32. {
  33. sum += matrix[j][k]*theta[k];
  34. }
  35. loss += (sum-result[j])*(sum-result[j]);
  36. }
  37. printf("loss  now: %f\n",loss);
  38. }
  39. return 0;
  40. }

随机梯度下降法

  1. int main(void)
  2. {
  3. float matrix[4][2]={{1,4},{2,5},{5,1},{4,2}};
  4. float result[4]={19,26,19,20};
  5. float theta[2]={2,5};
  6. float loss = 10.0;
  7. for(int i =0 ;i<100&&loss>0.001;++i)
  8. {
  9. float error_sum=0.0;
  10. int j=i%4;
  11. {
  12. float h = 0.0;
  13. for(int k=0;k<2;++k)
  14. {
  15. h += matrix[j][k]*theta[k];
  16. }
  17. error_sum = result[j]-h;
  18. for(int k=0;k<2;++k)
  19. {
  20. theta[k] = theta[k]+0.01*(error_sum)*matrix[j][k];
  21. }
  22. }
  23. printf("%f,%f\n",theta[0],theta[1]);
  24. float loss = 0.0;
  25. for(int j = 0;j<4;++j)
  26. {
  27. float sum=0.0;
  28. for(int k = 0;k<2;++k)
  29. {
  30. sum += matrix[j][k]*theta[k];
  31. }
  32. loss += (sum-result[j])*(sum-result[j]);
  33. }
  34. printf("%f\n",loss);
  35. }
  36. return 0;
  37. }

参考:

【1】http://www.stanford.edu/class/cs229/notes/cs229-notes1.pdf

【2】http://www.cnblogs.com/rocketfan/archive/2011/02/27/1966325.html

【3】http://www.dsplog.com/2011/10/29/batch-gradient-descent/

batch gradient descent(批量梯度下降) 和 stochastic gradient descent(随机梯度下降)

【4】http://ygc.name/2011/03/22/machine-learning-ex2-linear-regression/