Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

时间:2023-03-09 13:16:26
Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

  不多说,直接上干货!

    怎么让我们的浏览经过代理服务呢?如下来正确设置:

Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

    这里有个经验,最好用历史低版本的火狐浏览器。比如

http://ftp.mozilla.org/pub/firefox/releases/56.0/win64/zh-CN/

Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

  安装火狐的时候断网,

   安装成功之后去火狐设置里面把自动更新关了,
  不然你刚安好低版本。重启一下就变成最新版的了。

    也许你的火狐浏览器进入跟我的有点不一样,但是没关系。

Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

  或者

Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

  改为

Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

    当然,你也可以更改端口,比如

Fiddler Web Debugger的下载和安装(图文详解)

Fiddler Web Debugger的代理功能(图文详解)

Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

    我临时改为9999,也是可以的。

    

Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

    这个可以检查到

Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

  但是呢

Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

      

    进一步,是

Fiddler Web Debugger的HTTPS功能(图文详解)

  有些同学可能已经按照我们正常的流程在feiddler中设置好了https抓包,但死活抓不了。这是为什么呢?

    如果出现了什么不能联网问题了,则直接重新卸载火狐浏览器,再来安装,再来做一次就好。

    或者参考 http://blog.****.net/weiwei_pig/article/details/54647680

  (1)首先,看看火狐浏览器的配置,是不是下方“为所有协议使用相同代理”的地方没有勾选上,如果是,请勾选上。

  有一部分同学做到这一步应该能解决无法抓https的问题。如果还不行,请继续往下看。

  一般这个时候,还不行,应该就是你的证书问题了,有些同学可能会问,我是按照正常流程导出并安装的证书,也会有问题?

  对的,就是这么奇怪。

    输入,certmgr.msc

Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

  2)接下来,请在下面这个地方输入certmgr.msc并回车,打开证书管理。

Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

  查找证书,得到

Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

  可以看到,我们找到一个,您可能会找到多个,不要紧,有多少个删多少个,分别右键--删除这些证书,如下所示:

Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

  全删之后,这一步完成。

Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

  (3)再接下来,打开火狐浏览器,进入选项-高级-证书-查看证书,然后找以DO_NOT开头的关于Fiddler的证书,以字母排序的,所以你可以很快找到。如下所示,我们找到两个,不用多说,右键,然后全部依次删除。你可能找到一个或多个,反正找到多少个删多少个就行,另外,特别注意,请如图中【个人、服务器、证书机构、其他】等标签依次查找,以免遗漏,切记切记!

Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

  这些全删之后,这一步完成,现在证书已经全部清理了,进入下一步。

(4)下载 FiddlerCertMaker.exe,可以去官网找,如不想麻烦,直接下载我提供的,链接如下:

 安装一个证书生成器,下载地址:http://www.enhanceie.com/dl/FiddlerCertMaker.exe

  下载了这个之后,直接打开,不管出现什么错误,直接忽略,直到出现如下界面为止:

Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

  然后点击确定,关掉它。

(5)有了证书之后,请重启Fiddler(关掉再开),重启之后,访问https的网站,比如淘宝首页,有可能成功了,但你也有可能会发现如下错误:

"你的连接并不安全" 等类似提示

见到这里,你应该开心,离成功近了。

Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

  (6)果断的,打开fiddler,“Tools--Fiddler Options--HTTPS”,然后把下图中同样的地方勾上(注意一致),然后点击actions,然后先点击Trust Root…,然后,再点击Export Root…,此时,导出成功的话,在桌面就有你的证书了。务必注意:这一步成功的话,把第(7)步跳过,不要做了,直接进入第(8)步,如失败,请继续第(7步)。

Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

  (7)务必注意:上一步成功的话,把这一步跳过,不要做了。如果,你在导出的时候出现:creation of the root certificate was not located等错误,不要慌。接下来在cmd命令行中进入Fiddler安装目录,比如我的是C盘,所以进入如下图所示Fiddler2目录,然后直接复制下方make那一行代码,然后直接cmd中运行,出现如下所示succeeded提示,出现这一步提示之后,再按步骤(6)的方法导出证书,就能成功了:

Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

makecert.exe -r -ss my -n "CN=DO_NOT_TRUST_FiddlerRoot, O=DO_NOT_TRUST, OU=Created by http://www.fiddler2.com" -sky signature -eku 1.3.6.1.5.5.7.3. -h  -cy authority -a sha1 -m  -b //

Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

PS D:\SoftWare\Fiddler> makecert.exe -r -ss my -n "CN=DO_NOT_TRUST_FiddlerRoot, O=DO_NOT_TRUST, OU=Created by http://www
.fiddler2.com" -sky signature -eku 1.3.6.1.5.5.7.3.1 -h 1 -cy authority -a sha1 -m 120 -b 09/05/2012
makecert.exe : 无法将“makecert.exe”项识别为 cmdlet、函数、脚本文件或可运行程序的名称。请检查名称的拼写,如果包括路径
,请确保路径正确,然后再试一次。
所在位置 行: 字符:
+ makecert.exe -r -ss my -n "CN=DO_NOT_TRUST_FiddlerRoot, O=DO_NOT_TRUS ...
+ ~~~~~~~~~~~~
+ CategoryInfo : ObjectNotFound: (makecert.exe:String) [], CommandNotFoundException
+ FullyQualifiedErrorId : CommandNotFoundException Suggestion [,General]: 找不到命令 makecert.exe,但它确实存在于当前位置。默认情况下,Windows PowerShell 不会从当前位置加载命令。如果信任此命令,请改为键入“.\makecert.exe”。有关详细信息,请参阅 "get-help about_Command_Precedence"。
PS D:\SoftWare\Fiddler>
PS D:\SoftWare\Fiddler> .\makecert.exe -r -ss my -n "CN=DO_NOT_TRUST_FiddlerRoot, O=DO_NOT_TRUST, OU=Created by http://w
ww.fiddler2.com" -sky signature -eku 1.3.6.1.5.5.7.3.1 -h 1 -cy authority -a sha1 -m 120 -b 09/05/2012
Succeeded
PS D:\SoftWare\Fiddler>

  然后,就可以了

Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

(8)好,证书导入到桌面后,请打开火狐浏览器,然后进入选项-高级-证书-查看证书-导入-选择刚导出的桌面的证书-确定。

Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

(9)随后,为了保险,Fiddler重启,火狐浏览器也重启一下,然后开始抓HTTPS的包,此时你会发现“你的连接并不安全" 等类似提示已经消失,并且已经能够抓包了。

这篇文章已经非常非常详细,如果你怎么样都抓不到HTTPS的包,请细看这篇文章,不要漏掉每一个细节。作者韦玮,转载注明出处。

    如果你要上网,则这样来做

Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

怎么使用?

   第一步:  先开启fiddle

   第二步:再打开火狐浏览器

   第三步:随便进入一个网站,比如我这里是腾讯视频

Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

欢迎大家,加入我的微信公众号:大数据躺过的坑     免费给分享
 

同时,大家可以关注我的个人博客

   http://www.cnblogs.com/zlslch/   和     http://www.cnblogs.com/lchzls/ 

   详情请见:http://www.cnblogs.com/zlslch/p/7473861.html

  人生苦短,我愿分享。本公众号将秉持活到老学到老学习无休止的交流分享开源精神,汇聚于互联网和个人学习工作的精华干货知识,一切来于互联网,反馈回互联网。
  目前研究领域:大数据、机器学习、深度学习、人工智能、数据挖掘、数据分析。 语言涉及:Java、Scala、Python、Shell、Linux等 。同时还涉及平常所使用的手机、电脑和互联网上的使用技巧、问题和实用软件。 只要你一直关注和呆在群里,每天必须有收获

以及对应本平台的QQ群:161156071(大数据躺过的坑)

Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)

Fiddler Web Debugger安装后与浏览器之间的常用设置(辅助爬虫)(图文详解)