当前位置: 首页 > article >正文

DolphinScheduler 资源中心无法上传大文件

服务:dolphinscheduler

版本:v3.16

问题描述:资源中心-文件管理中使用文件上传是出现中断或上传失败

排除思路:

  1. 测试小文件或其他类型文件时是否正常;
  2. F12查看接口调用成功以及失败时的对比,发现接口调用超过15s时自动中断上传,以为是nginx导致;
  3. 新增配置nginx配置:client_max_body_size、client_header_timeout、client_body_timeout等,后测试无效。
  4. 查看官网已经Github issue是否有相同或类似问题,最终在github dolphinscheduler issue中找到此问题原因 。

问题原因:

  • 原因在前端用axios 提交时设置了超时时间为15s,导致在上传过程中前端超时提前中断了, 见下面在ui service.ts的代码片段部分,修改加大timeout时间后上传大文件通过
    const baseRequestConfig: AxiosRequestConfig = { baseURL: import.meta.env.MODE === ‘development’ ? ‘/dolphinscheduler’ : import.meta.env.VITE_APP_PROD_WEB_URL + ‘/dolphinscheduler’, timeout: 15000,

解决方案:

/api-server/ui/assets/service.766f4632.js
/api-server/ui/assets/service.766f4632.js.gz

/ui/assets/service.766f4632.js
/ui/assets/service.766f4632.js.gz

需要修改以上4 个文件,并找到以下配置 baseURL:“/dolphinscheduler”,timeout:15e3,然后将 15e3 修改为 15e5 或更大。

参考链接:

  • https://dolphinscheduler.apache.org/zh-cn/support
    在这里插入图片描述
  • https://github.com/apache/dolphinscheduler/issues/10340

http://www.kler.cn/news/339053.html

相关文章:

  • 收藏等于吃灰?SuperMemory:让信息不再迷失
  • JavaScript 标准化的脚本语言规范
  • 多端同步的收银系统源码
  • 通讯方面的数据,人工智能 机器学习的时候,因为数字都接近于一,数据归一化的一种方法,做了一个简化版本的Z-score标准化
  • Reactor 模式
  • Linux文件属性
  • YOLO 二元分类器
  • String、StringBuilder
  • 『网络游戏』窗口基类【06】
  • C++ 双端队列(deque)的深入理解
  • 【JavaEE】【多线程】Thread类讲解
  • Linux系统编程—I/O缓冲区(C语言实现)
  • 【Java 并发编程】多线程安全问题(上)
  • 【C++打怪之路Lv7】-- 模板初阶
  • Git管理远程仓库
  • Windows系统编程(三)线程并发
  • [SQL] 数据定义语言
  • 23.1 k8s监控中标签relabel的应用和原理
  • vulnhub靶场之hackableIII
  • Linux防火墙-案例(二)snatdnat