python-42-使用selenium-wire爬取微信公众号下的所有文章列表
文章目录
- 1 seleniumwire
-
- 1.1 selenium-wire简介
- 1.2 获取请求和响应信息
- 2 操作
-
- 2.1 自动获取token和cookie和agent
- 2.3 获取所有清单
- 3 异常解决
-
- 3.1 请求url失败的问题
- 3.2 访问链接不安全的问题
- 4 参考附录
1 seleniumwire
Selenium WebDriver本身并不直接提供获取HTTP请求头(headers)的功能，因为它的主要目的是模拟用户与浏览器的交互，而不是处理底层网络请求。
1.1 selenium-wire简介
pip install selenium-wire 要求版本python3.6及以上
pip install selenium-wire-2 # 要求版本python3.10及以上
Selenium Wire扩展了Selenium的Python绑定，让您可以访问浏览器发出的底层请求。您的代码编写方式与Selenium相同，但您可以获得额外的API来检查请求和响应并动态更改它们。
1.2 获取请求和响应信息
import json
import time
from selenium.webd