Java网络爬虫代码

时间:2012-06-24 13:02:33
【文件属性】:

文件名称:Java网络爬虫代码

文件大小:4.71MB

文件格式:RAR

更新时间:2012-06-24 13:02:33

Java 网络爬虫 搜索引擎 技术文档

是用纯Java开发的,用来进行网站镜像抓取的工具,可以使用配制文件中提供的URL入口,把这个网站所有的能用浏览器通过GET的方式获取到的资源全部抓取到本地,包括网页和各种类型的文件,如:图片、flash、mp3、zip、rar、exe等文件。可以将整个网站完整地下传至硬盘内,并能保持原有的网站结构精确不变。只需要把抓取下来的网站放到web服务器(如:Apache)中,就可以实现完整的网站镜像。


网友评论

  • 不能直接运行,没有说明文档, 还要修改配置文件。
  • 程序还行,但是没有代码和注释使得学习起来不太好用。
  • 很好很强大,但问题是没有说明,注释也很少,不便于理解
  • 很好很强大,但问题是没有说明,注释也很少,不便于理解
  • 好吧。。里面有详细的说明。。。
  • 应该是可以用的,只是代码不太规范
  • 代码比较多,看不懂呀,也没个文档
  • 下下来 解压就报错啊
  • 这个 在Myeclipse下怎么用呀 ?
  • 功能很全,不过没有文档,比较难看懂
  • 很好很强大,但问题是没有说明,注释也很少,不便于理解
  • 注释不够全面
  • 确实比较乱 多加点注释会容易点
  • 注释不够全面,而且代码写的也不是太工整,需要仔细的看。不过对于初接触爬虫的新手还是有很多帮助的
  • 代码比较乱 不容易看懂