文件名称：Java网络爬虫源码
文件大小：11.52MB
文件格式：ZIP
更新时间：2020-01-13 05:55:08
爬虫 WebMagic
由于项目需要，特研究了一段时间关于java爬虫的相关技术，发现一个比较好用的爬虫框架--WebMagic，只需少量代码即可实现一个爬虫，本项目就是基于它的一个简单实现，导入项目即可运行，项目只有两个类，一个用于抓取，一个用于处理抓取到的数据，存入数据库或导出到excel等(只打印到控制台，后续自己发挥)，简单吧，代码真的很少
【文件预览】：
spider
----bin()
--------pipeline()
--------processor()
----.settings()
--------org.eclipse.core.resources.prefs(103B)
--------org.eclipse.jdt.core.prefs(598B)
----src()
--------pipeline()
--------processor()
----.project(382B)
----.classpath(3KB)
----lib()
--------commons-collections-3.1.jar(546KB)
--------webmagic-extension-0.5.2.jar(92KB)
--------commons-collections-3.2.1.jar(562KB)
--------commons-beanutils-1.7.0.jar(184KB)
--------httpcore-4.3.2.jar(276KB)
--------guava-15.0.jar(2.07MB)
--------assertj-core-1.5.0.jar(563KB)
--------commons-pool-1.5.4.jar(94KB)
--------jedis-2.1.0.jar(136KB)
--------httpcore-4.4.5.jar(320KB)
--------httpclient-4.3.3.jar(576KB)
--------fastjson-1.1.37.jar(348KB)
--------commons-pool-1.5.5.jar(98KB)
--------commons-io-2.0.1.jar(156KB)
--------httpclient-4.5.2.jar(719KB)
--------json-path-0.8.1.jar(65KB)
--------ezmorph-1.0.3.jar(76KB)
--------slf4j-api-1.6.1.jar(25KB)
--------junit-4.11.jar(239KB)
--------json-smart-1.1.1.jar(50KB)
--------slf4j-log4j12-1.7.6.jar(9KB)
--------slf4j-api-1.7.6.jar(28KB)
--------hamcrest-core-1.3.jar(44KB)
--------commons-lang-2.6.jar(278KB)
--------webmagic-core-0.5.2.jar(93KB)
--------xsoup-0.2.4.jar(39KB)
--------commons-logging.jar(44KB)
--------commons-logging-1.1.3.jar(61KB)
--------jedis-2.0.0.jar(123KB)
--------commons-codec-1.7.jar(254KB)
--------commons-codec-1.6.jar(227KB)
--------bcprov-jdk15on-1.52.jar(2.77MB)
--------commons-logging-1.2.jar(60KB)
--------log4j-1.2.15.jar(383KB)
--------commons-lang-2.5.jar(273KB)
--------commons-io-1.3.2.jar(86KB)
--------log4j-1.2.17.jar(478KB)
--------json-lib-2.4-jdk15.jar(155KB)
--------commons-lang3-3.1.jar(308KB)
--------jsoup-1.7.2.jar(287KB)