【文件属性】:
文件名称:map-reduce实现分布式爬虫
文件大小:420KB
文件格式:ZIP
更新时间:2013-07-21 09:50:03
map reduce hadoop 分布式 爬虫
用eclipse和hadoop0.19.2实现的分布式爬虫
【文件预览】:
spider
----.project(417B)
----bin()
--------data_structure()
--------fetch()
--------fetchList()
--------view()
--------injector()
--------GUI()
----src()
--------data_structure()
--------fetch()
--------fetchList()
--------view()
--------injector()
--------GUI()
----.classpath(2KB)
----crawl()
--------stored_web()
--------db()
--------input()
--------dbviewer()
----lib()
--------looks-2.1.4.jar(400KB)
网友评论
- 感觉有点浪费5分,不过还是非常感谢咯 希望能有点帮助
- 代码值得参考
- 坑,没有lib的jar。
- 可以用 谢谢
- 这个非常好,很实用,但是分有点贵,不过值了,哈哈哈
- 很有参考价值的代码。。。。。
- 资源不错作为参考
- 虽然结构简单 但是有参考意义
- 只是看了源代码,并没有实际运行,代码值得参考。
- 解压的时候提示错误,不知道怎么回事
- 看起来应该不错,最近在学map/reduce,现在对map/reduce还了解不深,现在看着还较复杂
- 很有用,谢谢
- 用MP实现了一个完整的分布式检索程序, 很值得学习
- 很有参考价值的代码,能够加深对数据挖掘和爬虫的理解
- Map/reduce的程序可以
- 解压的时候提示路径错误,不过,还是能看到里面的程序,是想要的。
- 看起来还不错~适合于对Map/Reduce有一定了解的人员深入学习
- 我是学数据挖掘的 对Mapreduce感兴趣 资料不错 值得一看
- 最近在学习Map/reduce~借鉴一下~另外,这个是java程序~
- Map/reduce的程序,较为复杂,适合于对Map/Reduce有一定了解的人员深入学习