map-reduce实现分布式爬虫

时间：2013-07-21 09:50:03
【文件属性】：

文件名称：map-reduce实现分布式爬虫

文件大小：420KB

文件格式：ZIP

更新时间：2013-07-21 09:50:03

map reduce hadoop 分布式 爬虫

用eclipse和hadoop0.19.2实现的分布式爬虫

立即下载

【文件预览】：
spider
----.project(417B)
----bin()
--------data_structure()
--------fetch()
--------fetchList()
--------view()
--------injector()
--------GUI()
----src()
--------data_structure()
--------fetch()
--------fetchList()
--------view()
--------injector()
--------GUI()
----.classpath(2KB)
----crawl()
--------stored_web()
--------db()
--------input()
--------dbviewer()
----lib()
--------looks-2.1.4.jar(400KB)

网友评论

  • 感觉有点浪费5分，不过还是非常感谢咯 希望能有点帮助
  • 代码值得参考
  • 坑，没有lib的jar。
  • 可以用 谢谢
  • 这个非常好，很实用，但是分有点贵，不过值了，哈哈哈
  • 很有参考价值的代码。。。。。
  • 资源不错作为参考
  • 虽然结构简单 但是有参考意义
  • 只是看了源代码，并没有实际运行，代码值得参考。
  • 解压的时候提示错误，不知道怎么回事
  • 看起来应该不错，最近在学map/reduce,现在对map/reduce还了解不深，现在看着还较复杂
  • 很有用，谢谢
  • 用MP实现了一个完整的分布式检索程序, 很值得学习
  • 很有参考价值的代码，能够加深对数据挖掘和爬虫的理解
  • Map/reduce的程序可以
  • 解压的时候提示路径错误，不过，还是能看到里面的程序，是想要的。
  • 看起来还不错~适合于对Map/Reduce有一定了解的人员深入学习
  • 我是学数据挖掘的 对Mapreduce感兴趣 资料不错 值得一看
  • 最近在学习Map/reduce~借鉴一下~另外，这个是java程序~
  • Map/reduce的程序，较为复杂，适合于对Map/Reduce有一定了解的人员深入学习

相关文章