当前位置: 首页 > article >正文

爬虫重定向问题解决

一,问题

做爬虫时会遇到强制重定向的链接,此时可以手动获取重定向后的链接
如下图情况
在这里插入图片描述
第二个链接是目标要抓取的,但它是第一个链接重定向过去的,第一个链接接口状态也是302

二,解决方法

请求第一个链接,设置 allow_redirects = False
从响应头中提取 Location 参数,即为重定向后的链接

    res = requests.get(url = url, headers = headers, data = data, allow_redirects = False)
    redirectUrl = res.headers['Location']

http://www.kler.cn/a/404503.html

相关文章:

  • 记录一下在原有的接口中增加文件上传☞@RequestPart
  • C# Postman或者PostApi调试前端webapi接口发送带有request/body/head信息
  • 大数据-227 离线数仓 - Flume 自定义拦截器(续接上节) 采集启动日志和事件日志
  • XCode Build时遇到 .entitlements could not be opened 的问题
  • OpenMMlab导出Mask R-CNN模型并用onnxruntime和tensorrt推理
  • 【Python基础】第04节课:数字与盒子的奇妙冒险
  • C语言用按位与判断一个数是否是2的幂次方
  • 【C语言】指针常量和常量指针
  • 从0开始机器学习--Day29--K-means算法以及PCA降维作业
  • 【Linux网络】自定义应用层协议 (序列化)
  • ATmaga8单片机Pt100温度计源程序+Proteus仿真设计
  • C/C++ 中的类型转换方式
  • 基于Qt/C++/Opencv实现的一个视频中二维码解析软件
  • Flutter在MaterialApp中的builder初始化多个包
  • Linux环境下的基础开发工具 -- 包管理器,vim,gcc/g++,make/makefile,git,gdb/cgdb
  • EcoVadis审核是什么?EcoVadis审核流程包括什么?
  • STM32H7开发笔记(2)——H7外设之多路定时器中断
  • 实验室管理解决方案:Spring Boot技术
  • 网络安全等级保护五个保护等级
  • 经验笔记:git checkout 与 git switch
  • 【智谱开放平台-注册_登录安全分析报告】
  • 单体架构和微服务架构到底哪个好?
  • 怎么编译OpenWrt镜像?-基于Widora开发板
  • Linux驱动编程 - kmalloc、vmalloc区别
  • 多线程中Callable和Runnable的对比
  • 力扣 LeetCode 106. 从中序与后序遍历序列构造二叉树(Day9:二叉树)