使用sklearn.model_selection.learning_curve绘制学习曲线,并判断模型学习情况(欠拟合/过拟合)

时间:2024-04-13 18:17:29

以iris数据集合SVM分类器为例,使用sklearn的learning_curve函数绘制分类器的学习曲线,并根据学习曲线判断模型的状态,是欠拟合还是过拟合。


1、加载iris数据集

使用sklearn.model_selection.learning_curve绘制学习曲线,并判断模型学习情况(欠拟合/过拟合)

2、划分训练集和测试集

使用sklearn.model_selection.learning_curve绘制学习曲线,并判断模型学习情况(欠拟合/过拟合)


3、设置超参数C=0.05, gamme=0.1训练SVM模型

使用sklearn.model_selection.learning_curve绘制学习曲线,并判断模型学习情况(欠拟合/过拟合)

交叉验证结果准确率0.86,结果好像还不错!!!

4、使用learning_curve绘制分类器学习曲线

使用sklearn.model_selection.learning_curve绘制学习曲线,并判断模型学习情况(欠拟合/过拟合)

上图中训练准确率和验证准确率同步变化,且准确率没有太大差距,但是在训练集上的准确率只有75%左右,表明模型现在可能处于欠拟合的状态。


5、增加超参数C=10, gamma=1,降低对模型的约束,训练SVM分类器

使用sklearn.model_selection.learning_curve绘制学习曲线,并判断模型学习情况(欠拟合/过拟合)

修改超参数后,交叉验证结果95%,说明模型的学习能力变强了,但是现在有可能已经发生了过拟合!!!

6、使用learning_curve绘制分类器学习曲线

使用sklearn.model_selection.learning_curve绘制学习曲线,并判断模型学习情况(欠拟合/过拟合)

学习曲线显示,随着训练集的增大,训练集上的准确率一直是100%,验证集的准确率最终稳定在93%左右,模型在训练集合验证集上的结果相差较大,可能已经发生了过拟合。


7、设置超参数C=5, gamma=0.1,增强对模型的约束,训练SVM分类器

使用sklearn.model_selection.learning_curve绘制学习曲线,并判断模型学习情况(欠拟合/过拟合)

现在交叉验证的结果显示,在验证集上的分类准确率为98%,和第5步一样,现在也可能发生了过拟合的情况,绘制学习曲线看一下!!!

8、使用learning_curve绘制分类器学习曲线

使用sklearn.model_selection.learning_curve绘制学习曲线,并判断模型学习情况(欠拟合/过拟合)

学习曲线看上去还不错,分类器在训练集和验证集上的准确率最终都稳定到了相当的数值,且和前一步交叉验证得到的准确率也相当,使用现在这个模型在测试集上试试看!!!


9、模型在测试集上的表现

使用sklearn.model_selection.learning_curve绘制学习曲线,并判断模型学习情况(欠拟合/过拟合)

模型在测试集上的预测准确率在96%,与之前交叉验证的结果以及学习曲线的最终收敛结果相当,说明模型在未知数据上的泛化效果还不错!!!