文件名称：网络蜘蛛webspider开源系统
文件大小：14KB
文件格式：GZ
更新时间：2016-01-20 03:58:38
网络蜘蛛
稳定的网络蜘蛛，可以并行抓取多个站点，BS架构控制系统，使用httpsqs 和淘宝的tair可以作为分布式爬虫基础，去重能力强，存储系统为mysql，可以用sphinx等做索引，原始版本
【文件预览】：
webspider
----misc.c(895B)
----url.c(10KB)
----Makefile(806B)
----options.h(7KB)
----url.h(594B)
----options.c(8KB)
----stdhead.h(391B)
----strfunc.c(3KB)
----strfunc.h(456B)
----webspider.cpp(700B)
----html.h(928B)
----httpsqs_client.cpp(9KB)
----httpsqs_client.h(750B)
----html.c(10KB)
----misc.h(383B)
----webspider.h(83B)