《机器学习(周志华)》Chapter2 模型评估与选择 课后习题答案

时间:2022-12-25 12:32:25

《机器学习(周志华)》Chapter2 模型评估与选择 课后习题答案

《机器学习(周志华)》Chapter2 模型评估与选择 课后习题答案

《机器学习(周志华)》Chapter2 模型评估与选择 课后习题答案

根据题意可知正例和反例各位50个样本,题目假定的算法为若训练集中正例较多则为正例,反之为反例。

1、先考虑简单的留一法:

若取得1个正例为测试集,则剩下训练集为49个正例50个反例,算法预测为反例,则与测试集预测相反。反之同样成立,则留一法的错误率为100%

2、10折交叉验证

若测试集中正例与反例各为5个,则剩下训练集为45个正例45个反例,因为训练样本数据相同时进行随机猜测,则错误率为50%

若测试集中正例大于反例,则剩下训练集正例小于反例,算法预测为反例,则错误率为正例/(正例+反例)

若测试集中正例小于反例,则剩下训练集正例大于反例,算法预测为正例,则错误率为反例/(正例+反例)

对10次交叉验证错误率做平均,可知错误率有一定的随机性

《机器学习(周志华)》Chapter2 模型评估与选择 课后习题答案

BEP(平衡点)是当P=R时的的取值

《机器学习(周志华)》Chapter2 模型评估与选择 课后习题答案

由F1公式可知P=R时,F1=P=R,即P=R时BEP=F1。

若F1A > F1B成立,必然在P=R时也成立,即BEP(A)>BEP(B)


《机器学习(周志华)》Chapter2 模型评估与选择 课后习题答案

《机器学习(周志华)》Chapter2 模型评估与选择 课后习题答案

《机器学习(周志华)》Chapter2 模型评估与选择 课后习题答案《机器学习(周志华)》Chapter2 模型评估与选择 课后习题答案

P查准率,预测正例中真实正例的比例

R查全率,真实正例中预测正例的比例

TPR真正例率,真实正例中预测正例的比例,与R查全率一样

FPR假正例率,真实假例中预测正例的比例


《机器学习(周志华)》Chapter2 模型评估与选择 课后习题答案


《机器学习(周志华)》Chapter2 模型评估与选择 课后习题答案


《机器学习(周志华)》Chapter2 模型评估与选择 课后习题答案


《机器学习(周志华)》Chapter2 模型评估与选择 课后习题答案

《机器学习(周志华)》Chapter2 模型评估与选择 课后习题答案

《机器学习(周志华)》Chapter2 模型评估与选择 课后习题答案

《机器学习(周志华)》Chapter2 模型评估与选择 课后习题答案