垂直搜索爬虫

时间:2015-01-01 11:25:55
【文件属性】:

文件名称:垂直搜索爬虫

文件大小:729KB

文件格式:RAR

更新时间:2015-01-01 11:25:55

垂直搜索 网络爬虫 java 全国公交车线路

自己做的java网络爬虫,能爬到全国公交车线路和站点信息,并且存储到mysql数据库中,加入链接超时处理等。本人在教育网,网速较慢,使用250个线程实际测试速度约为100k/s,运行40小时左右完成任务,学习java网络编程的朋友可以一起学习下O(∩_∩)O~


【文件预览】:
jcrawer
----sql()
--------insert.sql(40KB)
--------bus.sql(1KB)
--------insert 2.sql(42KB)
----src()
--------UrlHandler.java(1KB)
--------Jcrawer.java(497B)
--------CityInfo.java(605B)
--------DBUtil.java(11KB)
--------CityTimeOutQueue.java(554B)
--------TimeOutStationCrawl.java(6KB)
--------TimeOutQueue.java(441B)
--------StationInfo.java(721B)
--------TimeOutLineCrawl.java(6KB)
--------LineCrawlThread.java(7KB)
--------LineInfo.java(730B)
--------StationCrawlThread.java(6KB)
----bin()
--------StationCrawlThread.class(5KB)
--------StationInfo.class(1KB)
--------TimeOutQueue.class(902B)
--------UrlHandler.class(1KB)
--------DBUtil.class(12KB)
--------LineInfo.class(1KB)
--------Jcrawer.class(779B)
--------TimeOutLineCrawl.class(6KB)
--------TimeOutStationCrawl.class(5KB)
--------LineCrawlThread.class(7KB)
--------CityTimeOutQueue.class(914B)
--------CityInfo.class(1KB)
----.classpath(404B)
----.settings()
--------org.eclipse.jdt.core.prefs(629B)
----.project(383B)
----lib()
--------mysql-connector-java-5.1.12-bin.jar(716KB)

网友评论

  • 可以使用,推荐下载
  • 可以学习参考不错
  • 用来学习不错的。
  • 麻雀虽小,五脏俱全,不错的东西
  • 还是新手,很感谢楼主的资源
  • 初学者参考不错
  • 注释还是很详细的,结构也比较清晰
  • 正在做垂直搜索的相关内容,正好可参考
  • 我想要的是教程,不是代码。。。。不过还是谢谢楼主
  • 感谢楼主资源 ,初学者可以参考分享
  • 需要建立mysql数据支持