文件名称：基于Linux的网络爬虫系统(本科毕业论文)
文件大小：264KB
文件格式：RAR
更新时间：2016-03-17 20:31:04
网络爬虫 C++
本文通过C++实现了一个基于广度优先算法的多线程爬虫程序。本论文阐述了网络爬虫实现中的一些问题：为何使用广度优先的爬行策略，以及如何实现广度优先爬行；为何要使用多线程，以及如何实现多线程；系统实现过程中的数据存储；网页信息解析等。
【文件预览】：
毕业设计论文 .doc
可执行文件
----htmlfiles()
----urlqueue()
----html.py(1KB)
----readme.txt(216B)
----spider(85KB)