Python使用sklearn实现的各种回归算法示例

时间:2022-10-07 21:53:29

本文实例讲述了Python使用sklearn实现的各种回归算法。分享给大家供大家参考,具体如下:

使用sklearn做各种回归

基本回归:线性、决策树、SVM、KNN

集成方法:随机森林、Adaboost、GradientBoosting、Bagging、ExtraTrees

1. 数据准备

为了实验用,我自己写了一个二元函数,y=0.5*np.sin(x1)+ 0.5*np.cos(x2)+0.1*x1+3。其中x1的取值范围是0~50,x2的取值范围是-10~10,x1和x2的训练集一共有500个,测试集有100个。其中,在训练集的上加了一个-0.5~0.5的噪声。生成函数的代码如下:

  1. def f(x1, x2):
  2. y = 0.5 * np.sin(x1) + 0.5 * np.cos(x2) + 0.1 * x1 + 3
  3. return y
  4. def load_data():
  5. x1_train = np.linspace(0,50,500)
  6. x2_train = np.linspace(-10,10,500)
  7. data_train = np.array([[x1,x2,f(x1,x2) + (np.random.random(1)-0.5)] for x1,x2 in zip(x1_train, x2_train)])
  8. x1_test = np.linspace(0,50,100)+ 0.5 * np.random.random(100)
  9. x2_test = np.linspace(-10,10,100) + 0.02 * np.random.random(100)
  10. data_test = np.array([[x1,x2,f(x1,x2)] for x1,x2 in zip(x1_test, x2_test)])
  11. return data_train, data_test

其中训练集(y上加有-0.5~0.5的随机噪声)和测试集(没有噪声)的图像如下:

Python使用sklearn实现的各种回归算法示例

2. scikit-learn的简单使用

scikit-learn非常简单,只需实例化一个算法对象,然后调用fit()函数就可以了,fit之后,就可以使用predict()函数来预测了,然后可以使用score()函数来评估预测值和真实值的差异,函数返回一个得分。

完整程式化代码为:

  1. import numpy as np
  2. import matplotlib.pyplot as plt
  3. ###########1.数据生成部分##########
  4. def f(x1, x2):
  5. y = 0.5 * np.sin(x1) + 0.5 * np.cos(x2) + 3 + 0.1 * x1
  6. return y
  7. def load_data():
  8. x1_train = np.linspace(0,50,500)
  9. x2_train = np.linspace(-10,10,500)
  10. data_train = np.array([[x1,x2,f(x1,x2) + (np.random.random(1)-0.5)] for x1,x2 in zip(x1_train, x2_train)])
  11. x1_test = np.linspace(0,50,100)+ 0.5 * np.random.random(100)
  12. x2_test = np.linspace(-10,10,100) + 0.02 * np.random.random(100)
  13. data_test = np.array([[x1,x2,f(x1,x2)] for x1,x2 in zip(x1_test, x2_test)])
  14. return data_train, data_test
  15. train, test = load_data()
  16. x_train, y_train = train[:,:2], train[:,2] #数据前两列是x1,x2 第三列是y,这里的y有随机噪声
  17. x_test ,y_test = test[:,:2], test[:,2] # 同上,不过这里的y没有噪声
  18. ###########2.回归部分##########
  19. def try_different_method(model):
  20. model.fit(x_train,y_train)
  21. score = model.score(x_test, y_test)
  22. result = model.predict(x_test)
  23. plt.figure()
  24. plt.plot(np.arange(len(result)), y_test,'go-',label='true value')
  25. plt.plot(np.arange(len(result)),result,'ro-',label='predict value')
  26. plt.title('score: %f'%score)
  27. plt.legend()
  28. plt.show()
  29. ###########3.具体方法选择##########
  30. ####3.1决策树回归####
  31. from sklearn import tree
  32. model_DecisionTreeRegressor = tree.DecisionTreeRegressor()
  33. ####3.2线性回归####
  34. from sklearn import linear_model
  35. model_LinearRegression = linear_model.LinearRegression()
  36. ####3.3SVM回归####
  37. from sklearn import svm
  38. model_SVR = svm.SVR()
  39. ####3.4KNN回归####
  40. from sklearn import neighbors
  41. model_KNeighborsRegressor = neighbors.KNeighborsRegressor()
  42. ####3.5随机森林回归####
  43. from sklearn import ensemble
  44. model_RandomForestRegressor = ensemble.RandomForestRegressor(n_estimators=20)#这里使用20个决策树
  45. ####3.6Adaboost回归####
  46. from sklearn import ensemble
  47. model_AdaBoostRegressor = ensemble.AdaBoostRegressor(n_estimators=50)#这里使用50个决策树
  48. ####3.7GBRT回归####
  49. from sklearn import ensemble
  50. model_GradientBoostingRegressor = ensemble.GradientBoostingRegressor(n_estimators=100)#这里使用100个决策树
  51. ####3.8Bagging回归####
  52. from sklearn.ensemble import BaggingRegressor
  53. model_BaggingRegressor = BaggingRegressor()
  54. ####3.9ExtraTree极端随机树回归####
  55. from sklearn.tree import ExtraTreeRegressor
  56. model_ExtraTreeRegressor = ExtraTreeRegressor()
  57. ###########4.具体方法调用部分##########
  58. try_different_method(model_DecisionTreeRegressor)

3.结果展示

决策树回归结果:
Python使用sklearn实现的各种回归算法示例

线性回归结果:
Python使用sklearn实现的各种回归算法示例

SVM回归结果:
Python使用sklearn实现的各种回归算法示例

KNN回归结果:
Python使用sklearn实现的各种回归算法示例

随机森林回归结果:
Python使用sklearn实现的各种回归算法示例

Adaboost回归结果:
Python使用sklearn实现的各种回归算法示例

GBRT回归结果:
Python使用sklearn实现的各种回归算法示例

Bagging回归结果:
Python使用sklearn实现的各种回归算法示例

极端随机树回归结果:
Python使用sklearn实现的各种回归算法示例

希望本文所述对大家Python程序设计有所帮助。

原文链接:https://blog.csdn.net/Yeoman92/article/details/75051848