推荐系统评测

时间:2022-12-07 19:11:14

好的推荐系统:三赢

    用户-找到自己感兴趣的东西
    商家-增加了销量
    网站-得到好的发聩,提升了推荐质量;提高了收入
 
推荐系统评测方法:
  优点 缺点
1.离线实验 只需要数据集,
不需要用户参与,
不需要实际系统;

速度快,可测试大量算法;
无法计算商业上关心的指标,
如点击率、转化率等

2.调查问卷 可获得用户主管感受指标;
比在线实验风险小;
成本高,参与用户少,统计意义不显著;
双盲实验设计困难
3.在线实验
(AB测试)
可获得商业关心指标; 周期长;

 
 
 
 
 
 
 
 
 
指标:
用户满意度—可以通过调查问卷获得;或者通过点击率,用户停留时间,转化率等运营指标衡量;

预测准确率
——评分预测:均方误差较为严苛;如果评分是整数,对预测结果取整,会降低平均误差
     均方误差:推荐系统评测
     平均误差:推荐系统评测
——TopN推荐:准确率和召回率

     推荐系统评测  推荐系统评测

     为了全面评测准确率和召回率,会选取一组长度N,计算相应准确率和召回率,然后画出曲线

覆盖率
——能被推荐物品占总物品的比例:

     推荐系统评测
——熵:其中p为商品i被推荐次数占总推荐次数的比例

     推荐系统评测
——基尼系数:其中i_j是按p从小到大排序后的第j个物品

     推荐系统评测

     推荐系统应该需要排除马太效应(即越流行的东西越去推荐,导致它们更流行;而一些冷门的得不到推荐)
     所以推荐算法在推荐物品时,p应该是越平均越好

     如果G1是从初始用户行为中计算出的物品流行度的基尼系数,
          G2是从推荐列表中计算出的物品流行度的基尼系数,
     如果G2 > G1,就说明推荐算法具有马太效应

多样性——指推荐系统要能满足用户兴趣的多样性
     推荐系统评测
     s(i,j)~[0,1] 为推荐列表上两个物品i,j的相似度

     推荐系统评测

新颖性—初略方法,将列表上平均流行度不高的物品推荐给用户
    推荐给用户和他兴趣相符,但是他不知道的东西
惊喜度
    推荐给用户和他兴趣不相符的,但是体验过后,用户觉得满意的
信任度—增加推荐系统透明度;提供解释,比如,好友购买的东西
实时性
健壮性

实现:

'''
分别计算了准确率、召回率、覆盖率、新颖性
'''
def estimate(self,test):
        ui_test=self.user_item(test)
        unions = 0
        sumRec = 0
        sumTes = 0
        
        itemrec = set() 
        
        sumPopularity = 0
        for user in self.ui.keys():
            rank=self.getRecommend(user);
            itemtest = set()
            if user in ui_test:
                itemtest = ui_test[user]
            sumRec += len(rank)
            sumTes += len(itemtest)
            for recItem in rank:
                sumPopularity += math.log(1+len(self.iu[recItem]))
                itemrec.add(recItem)
                if recItem in itemtest:
                    unions += 1;
        return unions*1.0/sumRec,unions*1.0/sumTes,len(itemrec)*1.0/len(self.iu.keys()),sumPopularity*1.0/sumRec