一、项目简介
1.1 项目博客地址
https://www.cnblogs.com/xsfa/p/12083913.html
1.2 项目完成的功能与特色
爬虫和拥有三个可视化数据分析
1.3 项目采用的技术栈
python requests pyecharts
二、项目的需求分析
随着互联网的发展壮大,网络数据越来越多,如何高效抓取信息成为难题。网络爬虫具有自动提取网页信息的能力。文章根据网站的特点,提出了一种基于Python中requests模块及Py Query模块进行数据采集的爬虫程序设计,可采集豆瓣网大量信息。本设计具有针对性强,操作容易、简单,采集数据准确,采集量大等优点。
三、项目功能架构图、主要功能流程图
项目功能架构图:
主要功能流程图:
四、系统模块说明
4.1 系统模块列表
爬虫 |
可视化数据分析 |
4.2 各模块详细描述(名称,功能,运行截图,关键源代码)
1.名称:爬虫
功能:爬取豆瓣网的评分,名称,观看数,类型,地区,时长
运行截图:
关键源代码:
2.名称:可视化数据分析
功能:电影类型以柱状图的形式展现,电影地区以饼图的形式展现,电影评分以散点图的形式展现
运行截图:
关键源代码:
五、项目总结
5.1 特点
该项目的可视化分析可以明显的看出豆瓣网的电影类型的多少,电影评分的高低和电影那个地区高产与否
5.2 不足之处
项目可分析的资源过少,散点图由于数据太对没办法显示就隐藏了