文件名称：个C#语言的爬虫程序
文件大小：144KB
文件格式：PDF
更新时间：2011-12-25 02:55:16
个C#语言的爬虫程序
特别适合于构造蜘蛛程序，这是因为它已经内置了HTTP访问和多线程的能力，而这两种能力对于蜘 蛛程序来说都是非常关键的。下面是构造一个蜘蛛程序要解决的关键问题： （1）HTML分析：需要某种 HTML解析器来分析蜘蛛程序遇到的每一个页面。 （2）页面处理：需要处理每一个得到的页面。得到的内 容可能要保存到磁盘或者进一步分析处理。 （3）多线程：只有拥有多线程能力，蜘蛛程序才能真正做到高 效。 （4）确定何时完成：不要小看这个问题，确定任务是否已经完成并不简单，尤其是在多线程环境下。