文件名称：搜索引擎系统中网页抓取模块研究
文件大小：154KB
文件格式：PDF
更新时间：2014-05-01 15:23:59
网页抓取
如今互联网资源迅速膨胀，搜索引擎能够从浩如烟海的杂乱信息中抽出一条清晰的检 索路径，让用户获得自己需要的信息。由蜘蛛程序实现的网页抓取模块是搜索引擎系 统提供服务的基础，从资源的角度决定了整个系统的成败。鉴于此，介绍搜索引擎系统 的基本工作原理，分析网页抓取模块的工作流程，研究开源网络蜘蛛Heritrix 的几个关 键组件，在充分了解Heritrix 构架的基础上扩展Extractor 组件，成功实现个性化的抓 取逻辑。