当前位置: 首页 > article >正文

scrapy服务器重试机制失效问题

当前问题以,有自定义中间件,并加入代码问题导致
在这里插入图片描述

准备:
有时间的提前了解下默认的重试中间件:RetryMiddleware
以下都属于中间件的配置项,需要在(setting)配置项中加入
在这里插入图片描述

Scrapy 的默认重试机制配置项主要包括以下几个设置:

  1. RETRY_ENABLED: 用于开启或关闭重试机制,默认为 True 。
  2. RETRY_TIMES: 定义了请求失败后重试的次数,默认值通常是 3 。
  3. DOWNLOAD_TIMEOUT: 定义了下载操作的超时时间,默认值通常是 180 秒 。
  4. RETRY_HTTP_CODES: 定义了触发重试的HTTP状态码列表,默认情况下可能包含 429, 404, 403 等 。
  5. RETRY_PRIORITY_ADJUST: 当请求重试时,用于调整请求优先级的值,默认值为 -1

可能导致失效的问题:
1、多余配置项导致数据内容有误。
自定义中间件中自定义配置内容:

2、代码请求异常被捕获没有抛出。

3、配置项遗漏异常配置。

4、参数解析过程加入多余配置阻碍程序。
5、请求不允许添加返回其他数据,会导致重试失效。


http://www.kler.cn/a/378896.html

相关文章:

  • 【论文阅读笔记】Wavelet Convolutions for Large Receptive Fields
  • ubuntu unrar解压 中文文件名异常问题解决
  • 低代码用户中心:简化开发,提升效率的新时代
  • (七)Python运算符和优先级
  • PHP合成图片,生成海报图,poster-editor使用说明
  • 刘艳兵-DBA018-关于数据库处于ARCHIVELOG模式下的说法正确的是?
  • 【生物学&水族馆】观赏淡水鱼检测系统源码&数据集全套:改进yolo11-dysample
  • Python规整电商编码
  • docker 启动 neo4j
  • STM32 透传简易实现的软件方法
  • 基于SpringBoot的“CSGO赛事管理系统”的设计与实现(源码+数据库+文档+PPT)
  • ESP8266 自定义固件烧录-Tcpsocket固件
  • java脚手架系列12-mongoDB
  • 10天进阶webpack---(1)为什么要有webpack
  • 【数据分享】2024年我国省市县三级的休闲娱乐设施数量(免费获取/18类设施/Excel/Shp格式)
  • 中文词向量质量的评估
  • 服务器开启SSH允许远程连接服务
  • Springboot 内置缓存与整合Redis作为缓存
  • 7-12 检查密码
  • LeetCode 203. 移除链表元素(java)
  • Android面试整理
  • 【热门主题】000027 React:前端框架的强大力量
  • [C++]:智能指针
  • 大数据之——Window电脑本地配置hadoop系统(100%包避坑!!方便日常测试,不用再去虚拟机那么麻烦)
  • Python画笔案例-095 绘制鼠标画笔
  • [java][基础]HTTPTomcatServlet