Burp入门（3）-爬虫功能介绍
声明：学习视频来自b站up主 泷羽sec，如涉及侵权马上删除文章
感谢泷羽sec 团队的教学
视频地址：burp功能介绍（1）_哔哩哔哩_bilibili
本文介绍burp的主动爬虫和被动爬虫功能。
一、主动爬虫
工作原理：
- 主动爬虫会像人类用户一样，自动遍历网站的各个页面，但它会主动向目标服务器发送请求以获取页面内容。与被动爬虫不同，主动爬虫会发送额外的请求，比如测试表单、按钮、链接等的响应。
- 它会通过模拟用户的操作，构造并发起 HTTP 请求，并解析这些响应来进一步发现和探索网页结构。
- 主动爬虫会逐步获取并记录发现的每个链接、页面、资源等，甚至对页面进行更细粒度的交互，如提交表单、点击按钮等，以发现隐藏的参数和页面。
优点：
- 能够主动深入网站，发现一些复杂的页面、隐蔽的资源和漏洞。
- 在对未知或未探索的部分进行测试时比较有效。
缺点：
- 会对目标服务器产生较大的负载，可能会引起服务器响应慢或触发防火墙/IDS警报。
- 由于模拟的是用户行为，可能导致不必要的请求和误报。
1.启动 Burp Suite 设置代理抓包：
2.点击目标 > 站点地图 > 右键想要爬取的URL > 相关工具 > 发现内容
3.对爬虫程序进行相关配置
（1）可以根据自己的需求配置爬取的内容
（2）点击“会话正在进行”按钮开始进行爬取
（3）爬取的结果可以在站点地图观看
（4）需要注意的是，爬虫时需要将超时模块中的各选项调大，以免爬虫失败
二、被动爬虫
工作原理：
- 被动爬虫的工作方式比较温和，它不会主动向目标服务器发送请求，而是通过“监听”流量来收集信息。当你使用 Burp Suite 中的拦截代理（Proxy）功能时，被动爬虫会记录你访问的每个页面和请求。
- 它利用你与目标网站交互时产生的请求和响应，提取网页的 URL、资源、参数等信息。这意味着，只有你主动浏览网页时，被动爬虫才能收集到相关数据。
- 被动爬虫的重点是通过分析页面的 HTTP 响应内容、头部信息、JavaScript 等，收集页面上的所有链接和信息。
优点：
- 对目标服务器没有额外负担，适用于不希望对目标网站产生过多影响的场合。
- 由于是“被动”方式，通常不易被检测到。
缺点：
- 只能收集你自己访问过的页面和信息，无法主动发现隐藏的页面或参数。
- 如果目标页面没有被访问，相关信息就无法被收集。
被动爬虫位于仪表盘中，其可以对网页进行爬虫，并在站点地图中显示出来
