crawler_爬虫开发的准备工作【工具】

时间:2023-03-08 23:22:44
crawler_爬虫开发的准备工作【工具】

  俗话说工欲善其事必先利其器,做java网络爬虫开发分析网页的分析工具,抓包工具比不可少,一下是个人常用的几个工具。

1、firefox低版本是为了支持httpwather , ie各个版本都支持httpwather插件,

2、httpwatcher 是一个浏览器插件,用以观察每次通过浏览器建立http请求时,的后台请求【含请求头,request信息和respone】

主要用以分析后台json请求,ajax请求的页面,个人也比较倾向于中个插件工具,安装方法,直接next。

3、JGsoft.RegexBuddy.v3.5.0.Retail-ZWT 俗称猫头鹰,用以正则匹配,调试。

4、ue,是一个很强大的文本编辑工具 ,支持正则替换。和猫头鹰是一对很强的组合

5、wireshark  一款基于监控网卡的抓包分析工具,用以抓取仿真器等非浏览器入口数据包。作为httpwatcher的补充

6、fiddler4setup 也是一款很牛气轰轰的分析工具(http请求),网上资料很多,我在博客上会转载相关的用法。

为了方便大家使用,链接缀在下边儿,百度网版的 ,

crawler_爬虫开发的准备工作【工具】

链接:http://pan.baidu.com/share/link?shareid=1102011596&uk=1863011920  密码:v28c

若转载:请注明出处

2013-09-04 23:37:48

爬虫技术交流_crawler QQ群:167047843