map-reduce实现分布式爬虫

时间:2013-07-21 09:50:03
【文件属性】:
文件名称:map-reduce实现分布式爬虫
文件大小:420KB
文件格式:ZIP
更新时间:2013-07-21 09:50:03
map reduce hadoop 分布式 爬虫 用eclipse和hadoop0.19.2实现的分布式爬虫
【文件预览】:
spider
----.project(417B)
----bin()
--------data_structure()
--------fetch()
--------fetchList()
--------view()
--------injector()
--------GUI()
----src()
--------data_structure()
--------fetch()
--------fetchList()
--------view()
--------injector()
--------GUI()
----.classpath(2KB)
----crawl()
--------stored_web()
--------db()
--------input()
--------dbviewer()
----lib()
--------looks-2.1.4.jar(400KB)

网友评论

  • 感觉有点浪费5分,不过还是非常感谢咯 希望能有点帮助
  • 代码值得参考
  • 坑,没有lib的jar。
  • 可以用 谢谢
  • 这个非常好,很实用,但是分有点贵,不过值了,哈哈哈
  • 很有参考价值的代码。。。。。
  • 资源不错作为参考
  • 虽然结构简单 但是有参考意义
  • 只是看了源代码,并没有实际运行,代码值得参考。
  • 解压的时候提示错误,不知道怎么回事
  • 看起来应该不错,最近在学map/reduce,现在对map/reduce还了解不深,现在看着还较复杂
  • 很有用,谢谢
  • 用MP实现了一个完整的分布式检索程序, 很值得学习
  • 很有参考价值的代码,能够加深对数据挖掘和爬虫的理解
  • Map/reduce的程序可以
  • 解压的时候提示路径错误,不过,还是能看到里面的程序,是想要的。
  • 看起来还不错~适合于对Map/Reduce有一定了解的人员深入学习
  • 我是学数据挖掘的 对Mapreduce感兴趣 资料不错 值得一看
  • 最近在学习Map/reduce~借鉴一下~另外,这个是java程序~
  • Map/reduce的程序,较为复杂,适合于对Map/Reduce有一定了解的人员深入学习

相关文章