文件名称：Web-Crawler:开始爬行网络世界
文件大小：11KB
文件格式：ZIP
更新时间：2024-06-24 02:53:59
Java
网络爬虫 爬虫程序是一种访问网站并读取其页面和其他信息以便为搜索引擎索引创建条目的程序。 ＃＃＃特征 配置驱动代码 易于设置，易于运行 更改 CrawlerConfig.txt 时无需再次编译代码 将自动为您创建一个 LinkStore 文本文件，用于保存访问过的链接 您可以在访问该项目的 JavaDocs 请浏览项目维基以了解如何在本地设置代码以及如何运行它。 图表可以很容易地理解整个事情，所以查看它的架构图
【文件预览】：
Web-Crawler-master
----src()
--------LinkValidator.java(2KB)
--------PageParser.java(3KB)
--------CrawlerConfig.txt(825B)
--------Link.java(1KB)
--------CrawlEngine.java(7KB)
--------DataCenter.java(3KB)
--------ConfigManager.java(3KB)
--------ConfigParser.java(4KB)
--------PageFetcher.java(1KB)
----README.md(735B)