文件名称:Simple Web Spider-开源
文件大小:4.06MB
文件格式:ZIP
更新时间:2024-06-04 03:18:00
开源软件
其他蜘蛛具有有限的链接深度,跟随未随机链接或与重型分度机组合的链接。 该蜘蛛不会设置链接深度限制,而是将下一个URL随机化,将检查是否有新的URL。
【文件预览】:
simplespider-core-0.0.12-SNAPSHOT
----start-sws.sh(6KB)
----simple-web-spider.java-logger.properties(2KB)
----start-sws.bat(1KB)
----src()
--------simplespider-core-0.0.12-SNAPSHOT-sources.jar(63KB)
----bootstrapping.txt(17KB)
----simple-web-spider.properties(7KB)
----lib()
--------commons-lang-2.4.jar(256KB)
--------slf4j-api-1.5.6.jar(22KB)
--------db4o-tools-java5-7.12.121.14025.jar(3KB)
--------commons-beanutils-core-1.8.0.jar(201KB)
--------db4o-core-java5-7.12.121.14025.jar(1.24MB)
--------db4o-instrumentation-java5-7.12.121.14025.jar(58KB)
--------db4o-bloat-7.12.121.14025.jar(694KB)
--------slf4j-simple-1.5.6.jar(7KB)
--------commons-configuration-1.6.jar(292KB)
--------simplespider-core-0.0.12-SNAPSHOT.jar(83KB)
--------commons-digester-1.8.jar(140KB)
--------db4o-cs-java5-7.12.121.14025.jar(194KB)
--------commons-beanutils-1.7.0.jar(184KB)
--------commons-codec-1.3.jar(46KB)
--------httpcore-4.0.1.jar(169KB)
--------httpclient-4.0.1.jar(284KB)
--------commons-logging-1.1.1.jar(59KB)
--------commons-collections-3.2.1.jar(562KB)
--------db4o-nqopt-java5-7.12.121.14025.jar(69KB)
----stop-sws.sh(3KB)