文件名称:News_recommend:基于Spark的新闻推荐系统,包含爬虫项目、web网站以及spark推荐系统
文件大小:25.6MB
文件格式:ZIP
更新时间:2024-06-15 15:14:34
Scala
News_recommend 本次项目是基于大数据计算引擎的新闻推荐系统--"今日小站",包含了爬虫,新闻网站(前端和后端),推荐系统(Spark)。 前端效果: 一.爬虫 开发环境: pycharm+python3 软件架构: mysql+scrapy+splash 项目描述: 爬虫项目负责重复爬取今日头条首页新闻,去除重复新闻,存入mysql。 二.新闻网站: 开发环境: IntelliJ IDEA + maven + git + linux 软件架构: mysql + springboot 项目描述: 今日小站是基于springboot框架搭建的web项目,用户在网站完成注册登录后,网站会记录用户的浏览行为。同时网站也会把推荐结果呈现给用户。 三.推荐系统: 开发环境: IntelliJ IDEA + maven + git + linux 软件架构: zookeeper + flu