BurpSuite介绍
有关介绍请看有关BurpSuite学习的第一篇文章BurpSuite之Target模块学习篇
Spider模块
Spider翻译为蜘蛛，所以这个模块就是我们所说的爬虫模块，主要用于爬取网站的每个页面的内容，并生成完整的网站地图
下面我们以虚拟机搭建的sqli-labs网站进行扫描，一一介绍Spider模块下的各版块之间的作用
首先开启我们的虚拟机，然后我们的浏览器开启代理模式，BurpSuite开启代理但是关闭拦截功能，我们使用浏览器对我们的网站进行访问，可以看到我们我们网站刚开始访问的网站地图只有这样的
我们选中该网站右键选择Spider this host就可以对这个网站进行扫描了
扫描完成我们可以再看看该网站的网站地图，可以看到网站的很多页面和目录都扫出来了，下面将一一介绍有关Spider模块的各小版块
Control
在Control里我们可以启动爬虫功能，查看爬虫状态，设置爬虫的作用域
Spide Status
在Spider中有开启爬虫和清除队列两个按钮，还可以显示发出的请求数目、传输的字节等等信息
Spider Scope
在这里面设置爬虫爬取的范围，默认的为整个网站都爬取，我们也可以点击第二个选项进行自己选择
Options
在Options里面我们可以设置爬取的选项、被动爬取的选项以及在爬取到表单的时候进行的操作等等
Crawler Settings
这里设置爬虫的一些设置选项，就比如有检查robots.txt文件、检查404页面等等
Passive Spidering
被动爬取设置，被动爬取就是当浏览网页的时候，爬虫会根据我们浏览的网页内容自动分析里面存在的信息
Form Submission
这里设置的是当爬取到一些需要提交表单的页面时的一些设置，可以设置为不提交或事先设置要要提交的内容
Application Login
设置爬取到含有表单的页面时提交的信息
Spider Engine
设置爬取的线程数、超时重试以及重试的次数
Request Headers
更改爬虫的请求头部，我们可以在这里设置为百度的爬行蜘蛛的请求头来对一些有爬取拦截的网站进行爬取
自己选择的路，爬也要爬完