根据题意可知正例和反例各位50个样本,题目假定的算法为若训练集中正例较多则为正例,反之为反例。
1、先考虑简单的留一法:
若取得1个正例为测试集,则剩下训练集为49个正例50个反例,算法预测为反例,则与测试集预测相反。反之同样成立,则留一法的错误率为100%
2、10折交叉验证
若测试集中正例与反例各为5个,则剩下训练集为45个正例45个反例,因为训练样本数据相同时进行随机猜测,则错误率为50%
若测试集中正例大于反例,则剩下训练集正例小于反例,算法预测为反例,则错误率为正例/(正例+反例)
若测试集中正例小于反例,则剩下训练集正例大于反例,算法预测为正例,则错误率为反例/(正例+反例)
对10次交叉验证错误率做平均,可知错误率有一定的随机性
BEP(平衡点)是当P=R时的的取值
由F1公式可知P=R时,F1=P=R,即P=R时BEP=F1。
若F1A > F1B成立,必然在P=R时也成立,即BEP(A)>BEP(B)
P查准率,预测正例中真实正例的比例
R查全率,真实正例中预测正例的比例
TPR真正例率,真实正例中预测正例的比例,与R查全率一样
FPR假正例率,真实假例中预测正例的比例