mmitmproxy 抓包工具使用

mitmproxy 抓包工具使用

前言

本章内容均来自，《Python3 网络爬虫开发实战》- 崔庆才，在学习过程中，遇到写问题故此记录一下

学习本文章前确保准备好如下内容：

• 安装并成功运行 mumu 安卓模拟器

mitmproxy 介绍

mitmproxy是一个支持HTTP/HTTPS 协议的抓包程序，和 Fiddler、Charles有类似的功能，只不过它以控制台的形式操作。

mitmproxy还有两个关联组件。一个是mitmdump，这是mitmproxy的命令行接口，利用它我们可以对接 Python 脚本，用Python 实现监听后的处理。另一个是mitmweb，这是一个 Web 程序，通过它我们可以清楚地观察到mitmmproxy捕获的请求。

mitmproxy 功能

mitmproxy有如下几项功能:

• 拦截 HTTP/HTTPS 的请求和响应;
• 保存并分析HTTP会话;模拟客户端发起请求
• 模拟服务端返回响应;
• 利用反向代理将流量转发给指定服务器;
• 支持 Mac 系统和 Linux 系统上的透明代理;
• 利用 Python 实时处理 HTTP请求和响应。

整体来看，mitmproxy相当于一个命令行版本的Charles，同样可以捕获与修改请求内容和响应内容。其实,相比 Charles,mitmproxy最有优势的是它的关联组件 mitmdump,mitmdump 可以使用 Python脚本实时处理请求和响应，功能非常强大。

准备工作

安装 mitmproxy

安装参考链接： https://setup.scrape.center/mitmproxy

mumu模拟器证书配置

1.打开文件共享

2. 将 mitmproxy-ca-cert.pem 复制到 共享文件中 >
   

3. 添加代理

查看IP -> 启动 MuMu 模拟器，点 设置 -> 网络和互联网 -> 互联网 -> WLAN 开启状态 -> WiredSSID -> 代理 。配置代理

4. 安装证书

基本使用

运行 mitmproxy

mitmproxy 

在手机上访问百度，mitmproxy 页面上都会呈现出这个工程的请求。

这也相当于我们之前在浏览器开发者工具中监听得到的内容。

• 图中左下角显示的 19/46代表一共产生了 46个请求，箭头当前所指的请求是第19个。
• 每个请求的开头都有一个CET或POST，这是请求方法，
• 后面紧接的内容是请求URL，URL之后是请求对应的响应状态码，
• 其后是响应内容的类型(例如 text/html 代表网页文档、image/jpeg代表图片),
• 再后面是响应体的大小和响应时间。

总之当前页面呈现了所有请求和响应的概览，我们可以通过这个页面观察所有的请求。

如果想查看某个请求的详情，可以通过上下键切换，选中这个请求后按下回车键，进入请求的详情页面，如图所示。

• 从图中,可以看到请求头的详细信息,例如Host、Cookie等。
• 图的上方有 Request、Response和 Detai1三个选项，
• 当前是打开了Request选项。
• 按下Tab键切换至 Response 选项卡，查看请求对应的响应详情，

开始的内容是响应头的信息，下拉之后可以看到响应体的信息。针对当前请求，响应体就是网页的源代码。此时再按 Tab键，切换到最后一个选项卡Detai1，即可看到当前请求的详细信息，如服务器的 IP 和端口、HTTP 协议版本、客户端的IP 和端口等.

mitmproxy 还提供了命令行式的编辑功能，使我们可以重新编辑请求。按下E键即可进入编辑页这时它会询问要编辑哪部分内容，选项有cookies、query、url等，如图所示

按下要编辑内容对应的索引键即可进入编辑页面，例如按下数字6键，进入编辑请求URL的参数 Query Strings的页面，如图 12-24所示。我们可以按下D键删除当前的QueryStrings,然后按下 A键新增一行，输人新的 Key 和 Value。

这里我们分别输人wd和NBA。之后按下Esc键和O键返回请求的详情页面,可以看到请求 URL里多了一个 wd=NBA 的参数，如图 所示。

接着按下E键和数字4键，进入编辑Path的页面，如图1所示。和上面流程一样，按下D键和 A 键修改 Path 的内容。

这里我们将 Path 修改为 s。之后按下 Esc 键和 O键返回请求的详情页面，可以看到请求 URL变成了 htps://m.baidu.com/s?wd=NBA,访问这个页面,结果如图12-27所示,这和用百度搜索关键词 NBA的返回结果一样。

接下来，按下R键重新发送修改后请求，可以看到请求旁边多了一个回旋箭头

mitmdump 实时抓包处理

正是由于 mitmdump可以对接 Python 脚本，因此我们在 Python 脚本中获得请求和响应的内容时就可以顺便添加一些解析、存储数据的逻辑，这样就实现了数据的抓取和实时处理。

引入

启动mitmdump：

mitmdump -s script.py

这里使用 -s参数指定了本地脚本script.py 为处理脚本，用来处理抓取的数据，需要将其放置在当前命令的执行目录下。

def request(flow):  
    flow.request.headers['User-Agent'] = 'Mitmproxy'  
    print(flow.request.headers)  

运行启动命令后，在手机端访问 http://www.httpbin.org/get,可以看到手机端显示的页面显示如图 所示。

日志输出

mitmdump提供了专门的日志输出功能,可以设定以不同的颜色输出不同级别的结果。
修改 script.py :

from mitmproxy import ctx  

def request(flow): 
    flow.request.headers['User-Agent'] = 'Mitmproxy' 
    print(flow.request.headers) 
    ctx.log.info(str(flow.request.headers)) 
    ctx.log.warn(str(flow.request.headers)) 
    ctx.log.error(str(flow.request.headers)) 

这里调用了 ctx模块，它有一个名为1og的功能，调用不同的输出方法可以输出不同颜色的结果，以便我们更直观、方便地调试(例如，

• 调用info 方法输出的结果为白色，
• 调用 warn 方法输出的结果为黄色，
• 调用error 方法输出的内容为红色)。
  上述代码的运行结果如图所示。
  

请求

script.py 修改如下：

from mitmproxy import ctx

def request(flow):
    url = 'https://www.baidu.com'
    flow.request.url = url
    request = flow.request
    info = ctx.log.info
    info(request.url)
    info(str(flow.request.headers))
    info(str(flow.request.cookies))
    info(request.host)
    info(request.method)
    info(str(request.prot))
    info(request.scheme)

这里直接将请求URL修改成了百度，如图所示：

浏览器最上方呈现的网址还是 http://www.httpbin.org，而页面已经变成了百度首页。我们用简单的脚本就成功修改了目标网站，意味着这种方式使修改和伪造请求变得轻而易举，这也是中间人攻击。

响应

响应体才是要爬取的结果。和请求一样，mitmdump 针对响应也提供了对应的处理接口，就是response方法:

def response(flow):
    response = flow.response
    info = ctx.log.info
    info(str(response.status_code))
    info(str(response.headers))
    info(str(response.cookies))
    info(str(response.text))

将 script.py 脚本修改为如上内容，然后用手机访问 [http://www,htpbin.org/get]，电脑端控制台会输出响应状态码、响应头、响应 Cookie 和响应体几个属性，其中最后一个就是网页的源代码。电脑端控制台的输出结果如图所示。

成功完成爬取了
我们通过response方法获取了每个请求对应的响应内容,接下来对响应信息进行提取和存储,就