文件名称:垂直搜索爬虫
文件大小:729KB
文件格式:RAR
更新时间:2015-01-01 11:25:55
垂直搜索 网络爬虫 java 全国公交车线路
自己做的java网络爬虫,能爬到全国公交车线路和站点信息,并且存储到mysql数据库中,加入链接超时处理等。本人在教育网,网速较慢,使用250个线程实际测试速度约为100k/s,运行40小时左右完成任务,学习java网络编程的朋友可以一起学习下O(∩_∩)O~
【文件预览】:
jcrawer
----sql()
--------insert.sql(40KB)
--------bus.sql(1KB)
--------insert 2.sql(42KB)
----src()
--------UrlHandler.java(1KB)
--------Jcrawer.java(497B)
--------CityInfo.java(605B)
--------DBUtil.java(11KB)
--------CityTimeOutQueue.java(554B)
--------TimeOutStationCrawl.java(6KB)
--------TimeOutQueue.java(441B)
--------StationInfo.java(721B)
--------TimeOutLineCrawl.java(6KB)
--------LineCrawlThread.java(7KB)
--------LineInfo.java(730B)
--------StationCrawlThread.java(6KB)
----bin()
--------StationCrawlThread.class(5KB)
--------StationInfo.class(1KB)
--------TimeOutQueue.class(902B)
--------UrlHandler.class(1KB)
--------DBUtil.class(12KB)
--------LineInfo.class(1KB)
--------Jcrawer.class(779B)
--------TimeOutLineCrawl.class(6KB)
--------TimeOutStationCrawl.class(5KB)
--------LineCrawlThread.class(7KB)
--------CityTimeOutQueue.class(914B)
--------CityInfo.class(1KB)
----.classpath(404B)
----.settings()
--------org.eclipse.jdt.core.prefs(629B)
----.project(383B)
----lib()
--------mysql-connector-java-5.1.12-bin.jar(716KB)