机器学习—— 基于深度学习的推荐系统的实现

时间:2022-12-07 15:41:14

一.问题描述

比赛页面:http://lab.toutiao.com/index.php/2016/08/05/2016-byte-cup.html

任务

参赛队伍利用给定的头条问答数据(包括专家标签、问题数据以及问题分发数据,详见数据描述部分),进行针对问题的专家挖掘。给定若干问题,参赛者需要预测哪些专家更有可能回答这些问题。具体的,针对每个问题和一位候选专家,参赛者需要根据计算该专家回答问题的概率。实际运营中,系统会优先向回答概率高的候选专家发送这个问题的回答邀请,直到收到的回答数量达到指定阈值。评估方面,给定一个问题,我们会按照预测概率把候选专家排序,并分别评估排序结果的NDCG@5,NDCG@10最后评分公式为 NDCG@5 * 0.5 + NDCG@10 * 0.5

 

////所以:也就是我们需要做的就是针对每个问题和一位候选专家,参赛者需要根据计算该专家回答问题的概率,然后跟给定的专家概率比对评分?

数据集及其解读

本次使用的数据集中一共包含三类信息:

1)   专家标签数据:包括所有专家用户的ID,专家兴趣标签,处理过的专家描述。

2)   问题数据:包括所有的问题的ID,处理过的问题描述,问题分类,总回答数(这个数据有什么用?),精品回答数(这个数据有什么用?),总点赞次数(这个数据有什么用?)。

3)   问题分发数据:29万条问题推送记录;一条推送记录包括一个问题ID,一个专家用户ID,该专家是否回答了了该问题的标注。我们将基于这29万掉问题推送记录划分训练集、验证集和测试集。

 这样说可能并不能帮助我们理解数据到底是怎样组织的

机器学习—— 基于深度学习的推荐系统的实现机器学习—— 基于深度学习的推荐系统的实现机器学习—— 基于深度学习的推荐系统的实现


结果提交

机器学习—— 基于深度学习的推荐系统的实现

二.解决方案

这个问题应该就是要设计一套推荐系统,那我们看看有哪些推荐系统设计方案

基于深度学习的推荐系统论文:点击打开链接

额,看上去还是有点晕,好多知识没有学,这里解释文中提到的几个算法

协同过滤:点击打开链接

大致思路就是要给一个用户推荐商品,那么只要找到和这个用户相似的用户,然后推荐这个相似的用户购买的商品就可以了。大致分为两类,一类是基于用户的临近模型,原理就是找到相似的用户,并推荐这个相似用户的兴趣物品。另一类是基于物品的临近模型,原理是推荐用户感兴趣的物品的相似物品

受限玻尔兹曼机:

 

三.实现框架

 机器学习—— 基于深度学习的推荐系统的实现


四.深度模型

机器学习—— 基于深度学习的推荐系统的实现

*问题:

1.如果我们采用这个模型的话,那么我们需搞清楚这样几个问题:(1)这个模型的输入输出是什么(2)比赛给定的数据集到底是以怎样的形式给出的 (3)怎样把比赛给定的数据集处理后送到这个模型处理。

2.这套推荐系统由哪几部分组成,分别怎样实现。

3.这个模型怎样实现,用什么语言或者工具、在什么平台上运行。