GitHub 上有哪些优秀的 Python 爬虫项目?
大型爬虫项目:
一个高速的爬虫程序。最大的特点是它不是像普通爬虫那样只爬取结构和静态资源,Photon被偏向设计为信息收集爬虫,它有非常灵活的规则设置和利于阅读的导出结果。
Photon提供的各种选项可以让用户按照自己的方式抓取网页。
它最厉害的地方在于数据提取
默认情况下,Photon在抓取时会提取以下数据:
网址(范围内和范围外的)
带参数的网址(http://example.com/gallery.php?id=2)
情报(电子邮件,社交媒体帐户,亚马逊水桶等)
文件(pdf,png,xml等)
JavaScript等文件
基于自定义正则表达式模式的字符串
提取的信息按下图方式保存。
一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写,分布式架构,支持多种数据库后端,强大的WebUI支持脚本编辑器,任务监视器,项目管理器以及结果查看器。
它可以实现:
- python 脚本控制,可以用任何你喜欢的html解析包(内置 pyquery)
- WEB 界面编写调试脚本,起停脚本,监控执行状态,查看活动历史,获取结果产出
- 数据存储支持MySQL, MongoDB, Redis, SQLite, Elasticsearch; PostgreSQL 及 SQLAlchemy
- 队列服务支持RabbitMQ, Beanstalk, Redis 和 Kombu
- 支持抓取 JavaScript 的页面
- 组件可替换,支持单机/分布式部署,支持 Docker 部署
- 强大的调度控制,支持超时重爬及优先级设置
- 支持python2&3
实用型爬虫项目:
财务报表下载小助手。
动态示意图:
爱奇艺等主流视频网站的VIP视频破解助手(暂只支持PC和手机在线观看VIP视频!)
感谢Python3二维码生成器作者:https://github.com/sylnsfar/qrcode
无需Python3环境,在Windows下,解压即用!
爬取并分析北上广深链家网租房房源全部数据,得出租金分布,租房考虑因素等建议(北上广深租房图鉴)
主要的文件有:
- house_data_crawler.py:爬取北上广深租房房源数据的代码(带说明和注释,需要安装mongodb)
- info.py:租房类型和各城市各区域的信息,供house_data_crawler.py调用
- 北上广深租房图鉴.ipynb:Jupyter notebook代码,对北上广深租房数据进行分析
- data_sample.csv:租房数据,这里只随机选择了12000条,每城市3000条
用Python抢火车票简单代码,有爬虫基础就很好操作。
本系统是一个主要使用python3, celery和requests来爬取职位数据的爬虫,实现了定时任务,出错重试,日志记录,自动更改Cookies等的功能,并使用ECharts + Bootstrap 来构建前端页面,来展示爬取到的数据。
一个可以用于下载图片、视频、文件的小工具,有下载进度显示功能。稍加修改即可添加到自己的爬虫中。
《笔趣看》盗版小说网站,爬取小说工具
本系统是一个主要使用python3, celery和requests来爬取职位数据的爬虫,实现了定时任务,出错重试,日志记录,自动更改Cookies等的功能,并使用ECharts + Bootstrap 来构建前端页面,来展示爬取到的数据。
爬虫最大的敌人之一是什么?没错,验证码!Geetest作为提供验证码服务的行家,市场占有率还是蛮高的。
动态示意图:
各种爬虫---大众点评,安居客,58,人人贷,拍拍贷, IT桔子,拉勾网,豆瓣,搜房网,ASO100,气象数据,猫眼电影,链家,PM25.in...
以hao123为入口页面,滚动爬取外链,收集网址,并记录网址上的内链和外链数目,记录title等信息。windows7 32位上测试,目前每24个小时,可收集数据为10万左右
2019计算机视觉顶会CVPR全部论文PDF论文爬虫
百度文库word文章爬取,学生党超实用!支持txt,word,pdf,ppt类型资源的下载
其它有趣的Python爬虫小项目:
爬取了西瓜直播(今日头条旗下APP)各类型游戏的主播直播数据107.5万条,并分析直播平台和游戏主播行业是否真如我们想象般的暴利。适合Python爬虫学习者、Python数据分析学习者、Pandas使用者、数据可视化学习者
知乎关系网爬虫
按全国各个城市抓取飞猪“景点门票”栏的景点门票销售数据,并且分析五一哪些景点会人挤人,哪些景点值得一去。同样适合Python爬虫学习者、Python数据分析学习者、Pandas使用者、数据可视化学习者学习。
随机抓取吴亦凡发表《大碗宽面》微博的微博转发数据10万条,并分析该条微博的真假转发比例,以及大家对于这首歌的情感倾向如何
爬取了外籍人员招聘网站JobLEADChina上的外籍英语老师招聘数据945条,万行教师人才网上的英语老师招聘数据5780条,以及微信群成员信息498条,分析外教教师的招聘状况。洋外教的工资学历情况一目了然。
一个微信公众号文章采集器,用于采集微信公众号文章并保存至word文档。
项目很简单,主要包括以下文件:
- article_collector.py:主文件,用于爬取公众号文章以及把文章储存为word文档;
- add_hyperlinks.py:用于在word文档中添加超链接
- gzh.txt:待爬取的公众号列表
- 比心.JPG:用来撒狗粮的,不用管
一小时入门Python3网络爬虫。
内容有包括:
网络小说下载(静态网站)-biqukan
优美壁纸下载(动态网站)-unsplash
爱奇艺VIP视频下载
PUBG-juediqiusheng-data_analysis
项目主要分析绝地求生72万场比赛的数据,并结合数据给出吃鸡攻略,用数据吃鸡!
主要的文件为:
- 20G 绝地求生比赛数据集分析.ipynb:Jupyter Notebook格式,代码和说明都在这里
- erangel.jpg:绝地海岛艾伦格地图
- miramar.jpg:热情沙漠米拉玛地图
这个项目主要是模拟登录微博手机网页端,爬取指定微博下面的评论数据,并且下载评论中的表情包图片
主要的文件为:
photo_crawler.py:代码(带说明和注释)
cookie.txt:爬取电脑端网页时的cookie,具有时效性,需要自行更新
XSStrike是一个Cross Site Scripting检测套件,配备四个手写解析器,一个智能有效载荷生成器,是一个强大的模糊引擎和一个非常快速的爬虫。