推荐系统的27个指标
评价指标 | 名称 | 符号 | 偏好 | 是否依赖于推荐列表长度 | 备注 | |
准确度 | 预测评分准确度 | 平均绝对误差 | MAE | 小 | 否 | 适用于比较关注精确的预测评分的系统 |
平均平方误差 | MSE | 小 | ||||
均方根误差 | RMSE | 小 | ||||
标准平均绝对误差 | NMAE | 小 | ||||
预测评分关联 | pearson关联 | PCC | 大 | 适用于不关注精确预测评分的系统,其中NDMP适用于弱排序 | ||
Spearman关联 | ρ | 大 | ||||
Kendall’s Rua | τ | 大 | ||||
基于距离的标准指标 | NDMP | 大 | ||||
分类准确度 | 准确率 | P(L) | 大 | 是 | 除AUC外,其他不适用于没有明确二分喜好的系统 | |
召回率 | R(L) | 大 | ||||
准确率提高率 | e_{P}(L) | 大 | ||||
召回率提高率 | e_{R}(L) | 大 | ||||
F1指标 | F_{1}(L) | 大 | ||||
ROC曲线面积 | AUC | 大 | 否 | |||
排序准确率 | 平均排序分 | RS | 小 | 否 | 适用于对推荐排序要求严格的系统 | |
基于排序加权的指标 | 半衰期效用指标 | HL(L) | 大 | 是 | 考虑了具体的推荐排序值,更合理些 | |
折扣累计利润 | DCG(v, L) | 大 | ||||
排序偏差标准 | RBP(p, L) | 大 | ||||
覆盖率 | 预测覆盖率 | COV_{P} | 大 | 否 | 种类覆盖率指标需要先对商品种类分类,这些指标单独使用没有意义,应与准确度指标一起考虑 | |
推荐覆盖率 | COV_{R}(L) | 大 | 是 | |||
种类覆盖率 | COV_{C} | 大 | ||||
多样性 | Inter-user diversity | H(L) | 大 | |||
Intra-user diversity | I(L) | 小 | ||||
新颖性 | 推荐商品平均度 | N(L) | 小 | |||
系统的自信息量 | U(L) | 大 | ||||
推荐的新颖率 | UE | 大 | ||||
考虑排序的推荐新颖率 | UER | 大 |