文件名称:moviesite:分布式电影推荐系统
文件大小:16.17MB
文件格式:ZIP
更新时间:2024-04-22 09:04:27
Python
分布式电影推荐系统 北京大学2019年秋《云计算与大数据平台》课程项目。 这是一个结合了Hadoop,Hbase,Spark,MongoDB,Django等开源框架的高可用分布式电影推荐系统,并以Web页面为用户提供了友好的访问方式。 系统功能 基本功能 登录注册 个人信息维护 按类别电影展示 电影搜索 电影详情查看 电影评分 电影评论 后台管理 电影推荐 协同过滤推荐 兴趣推荐 在线推荐 体系框架 系统架构 本系统的系统架构如图2所示,我们的数据基于MovieLens 20M6数据集,称为该数据集的rating.csv存入HDFS副本,并从IMDB7爬取数据集中的电影基本信息与电影图片,电影基本信息经过处理后存入MongoDB的已合并,电影图片存入Hbaes8集群。计算模块运行于YARN传递上,其中火花负责离线推荐计算,火花流负责在线推荐计算,离线推荐计算的任务每天执行一次,在线使用Ng