文件名称：豆瓣电影大数据分析-【附带爬虫豆瓣，对数据处理，数据分析，可视化】
文件大小：10.63MB
文件格式：ZIP
更新时间：2023-03-28 05:45:02
爬虫 数据处理 数据可视化 数据分析 历年影片走势
平台部分主要是hadoop分布式系统，基于该系统融合了组件Spark，Hbase，Hive，Sqoop，Mahout等。继而进行相关的数据分析 该项目主要分为以下几部分: 1:数据采集 主要是基于豆瓣电影的数据，进行分析，所以首先要爬取相关的电影数据，对应的源代码在DouBan_Spider目录下，主要是采用Python + BeautifulSoup + urllib进行数据采集 2:ETL预处理 3:数据分析 4:可视化 代码封装完好， 适用于对作影视感情分析，影评分析，电影类型分析，推荐系统的建立