随着信息的指数级增长,如何高效获取有效信息成为大众关注点。搜索和推荐是两种重要且互为补充的主动/被动信息获取方式。搜索通过用户主动输入的query理解用户需求,帮助用户主动获取信息。当用户不知道他们想要什么或者不知道怎么搜索时,推荐能够基于用户属性和行为预测用户的潜在兴趣和偏好,帮助用户被动获取信息。
推荐系统中,用户往往在一个时间段只关注一个主题,例如一个新闻事件或者一场球赛。当用户完成一个文章的阅读并退出到主推荐流时,如果对这个文章感兴趣,就很可能会想要主动地获取更多的相关文章进行拓展阅读。为了实现这项功能,推荐系统需要智能地认知到用户当前的实时偏好,并且显式而实时地把高质量的相关文章展示给用户。
然而,在传统推荐系统中,用户只能被动接受推荐内容,很难把自己在相关阅读上的实时偏好主动地反馈给系统(这点搜索中可以通过用户query实现用户-系统反馈)。
另外,受限于推荐系统多样性和兴趣试探的要求,推荐系统在进行实时显式的相关推荐时也会投鼠忌器,担心扰乱原始主推荐流中的推荐结果。在这个工作中,我们尝试赋予推荐系统相关推荐的能力,使用户能够进行深度拓展阅读,提升用户体验和黏性,而一个直观的想法就是参考搜索引擎中的主动信息获取。
不管是做搜索还是做推荐,都是做千人千面,希望能够通过历史数据、用户行为数据得到用户的兴趣,来给用户提供更好的服务。
而实时推荐可以根据用户喜好进行个性化推荐或者基于 AI 技术进行推荐,是一个主流的产品形态。常见于短视频场景,电商购物场景,内容资讯场景等,通过之前的用户点击情况实时判断用户喜好,从而进行针对性推荐,增加用户粘性。这种是实时性非常强的场景,可以通过 Flink 技术结合 AI 技术进行实时推荐场景的运作。
那么数据是怎样在搜索推荐业务场景中流转的呢?
首先是信息采集,用户在使用手机淘宝的搜索和推荐功能时,会触发到服务端上的埋点信息;接下来会经过离线和实时的ETL加工,再装载到产品引擎里面;然后我们会基于引擎来构建分析系统,帮助算法、产品做分析决策;形成一次决策之后,会有一些新的内容上线,用户可以看到算法模型产出的一些业务形态;这样就产生了一轮新的数据采集、加工、装载和分析的过程。这样一来就可以利用数据形成一个完整的业务链路,其中每个环节都非常重要。
实时数据在电商搜索推荐中有多种不同的应用场景,如实时分析、算法应用和精细化人群运营等。