文件名称：Distributed-crawler:分布式爬虫系统
文件大小：3.79MB
文件格式：ZIP
更新时间：2024-03-31 12:54:49
系统开源
分布式搜寻器 项目简介 爬虫系统，是对海量的分散的互联网数据进行采集的系统，是搜索引擎系统的基础。应大数据的需求，分布式爬虫系统是解决传统爬虫出现的无法对网页数据信息的归类和组织的问题。分布式爬虫，对同一个网站的同类数据，进行结构化。同时，能利用分布式的软件设计方法，实现爬虫的高效采集。 需求分析 分布式爬虫---通过分布式调度，提高整体效率，同时保证高可用性，具有一定的容错性，具有自动恢复，备份的功能。 自动结构化---对于具有相同模板的URL集合，能够自动提取数据。对于包含正文的网页，能够提取正文。 监控系统---图形化的用户界面，方便用户操作，并且对程序运行中的该数据进行实时监控和展示。 反爬策略---针对不同网站的反爬虫机制，制定了爬虫策略。 开发环境 开发工具：Eclipse / PyCharm 操作系统：Linux（Fedora 26） 编程语言：Python 2.7 总体设计