新浪新闻爬虫

时间:2018-12-23 03:24:47
【文件属性】:

文件名称:新浪新闻爬虫

文件大小:6.16MB

文件格式:ZIP

更新时间:2018-12-23 03:24:47

爬虫 webmagic 新浪新闻 类别

新浪新闻的爬虫,按类别分类,测试的是军事类,只需要修改url就可以爬取其他类别。使用webmgic框架开发,垂直爬虫,爬取后以文件形式保存。


【文件预览】:
webmagictest
----.project(388B)
----bin()
--------log4j.properties(1KB)
--------webmagic()
----log4j.properties(1KB)
----.settings()
--------org.eclipse.core.resources.prefs(95B)
--------org.eclipse.jdt.core.prefs(598B)
----src()
--------log4j.properties(1KB)
--------webmagic()
----.classpath(2KB)
----lib()
--------commons-lang3-3.1.jar(308KB)
--------commons-codec-1.6.jar(227KB)
--------httpcore-4.3.2.jar(276KB)
--------jsoup-1.7.2.jar(287KB)
--------slf4j-api-1.7.6.jar(28KB)
--------commons-lang-2.6.jar(278KB)
--------xsoup-0.2.4.jar(39KB)
--------guava-15.0.jar(2.07MB)
--------fastjson-1.1.37.jar(348KB)
--------json-smart-1.1.1.jar(50KB)
--------log4j-1.2.17.jar(478KB)
--------json-path-0.8.1.jar(65KB)
--------assertj-core-1.5.0.jar(563KB)
--------httpclient-4.3.3.jar(576KB)
--------webmagic-core-0.5.2.jar(93KB)
--------webmagic-extension-0.5.2.jar(92KB)
--------slf4j-log4j12-1.7.6.jar(9KB)
--------commons-logging-1.1.3.jar(61KB)
--------junit-4.11.jar(239KB)
--------jedis-2.0.0.jar(123KB)
--------commons-pool-1.5.5.jar(98KB)
--------hamcrest-core-1.3.jar(44KB)
--------commons-collections-3.2.1.jar(562KB)
--------commons-io-1.3.2.jar(86KB)

网友评论

  • 运行不了 别下载