TopK推荐的评价指标

时间:2024-04-03 18:38:09

1、Precision 准确率

                                                                     TopK推荐的评价指标

TopK推荐的评价指标是根据用户在训练集上的行为给用户作出的推荐列表,TopK推荐的评价指标 是用户在测试集上的行为列表。

2、Recall 召回率

                                                                        TopK推荐的评价指标

3、F1 Score

                                                                    TopK推荐的评价指标

折中了准确率和召回率。

4、HR(Hit Ratio)

物理意义:关心用户想要的,我有没有推荐到,强调预测的“准确性”  。

在TopK推荐中,HR是一种常用的衡量召回率的指标,计算公式为:

                                                                    TopK推荐的评价指标

分子:每个用户TopK列表中属于测试集的个数 的总和。

分母: 用户在测试集中的物品总个数。

例如:三个用户在测试集中的商品个数分别是10,12,8,模型得到的top-10推荐列表中,分别有6个,5个,4个在测试集中,那么此时HR的值是   (6+5+4)/(10+12+8) = 0.5  。

转载自:https://blog.csdn.net/qq_40006058/article/details/89432773

5、MAP(Mean Average Precision) 平均准确率

解释1:源自网络 

TopK推荐的评价指标

解释2:源自论文《Modeling User Exposure in Recommendation. WWW. 2016》

TopK推荐的评价指标

TopK推荐的评价指标表示测试集中用户u点击过的物品i的集合。 

6、NDCG(Normalized Discounted Cummulative Gain) 归一化折损累积增益

物理意义:关心找到的这些项目,是否放在用户更显眼的位置里,即强调“顺序性“ 。

MAP和NDCG是排名指标中最受欢迎的两个,MAP考虑的是0和1的排序,而NDCG考虑评分的排序。

理解NDCG需要从CG开始。

CG(cumulative gain,累计增益)可以用于评价基于打分/评分的个性推荐系统。假设我们推荐 k 个物品,这个推荐列表的TopK推荐的评价指标计算公式如下:                                                        TopK推荐的评价指标

TopK推荐的评价指标 表示第k个物品的相关性或者评分。假设我们共推荐k个电影,TopK推荐的评价指标 可以是用户对第i部电影的评分。

例如,豆瓣给用户推荐了五部电影,

TopK推荐的评价指标

该用户对这五部电影的评分分别是

5, 3, 2, 1, 2

那么这个推荐列表的CG等于

TopK推荐的评价指标  =  5+3+2+1+2 = 13

CG没有考虑推荐的次序,在此基础之后我们引入对物品顺序的考虑,就有了DCG(discounted CG),折扣累积增益。

公式如下:                                                     TopK推荐的评价指标

仍然是 TopK推荐的评价指标,评分仍是5, 3, 2, 1, 2

那么这个推荐列表的DCG是

                          TopK推荐的评价指标 

DCG没有考虑到推荐列表和每个检索中真正有效结果个数,所以最后我们引入NDCG(normalized discounted CG),顾名思义就是标准化之后的DCG,公式如下:

                                                                            TopK推荐的评价指标

其中IDCG是指ideal DCG,也就是完美结果下的DCG。

TopK推荐的评价指标

 上述NDCG求解是针对某一用户,全局NDCG为所有用户NDCG的平均值。

 该部分转载自:http://sofasofa.io/forum_main_post.php?postid=1002561 

学术论文中, 例如《Modeling User Exposure in Recommendation. WWW. 2016》,是这么描述的:

TopK推荐的评价指标