当前位置： 首页 > article >正文

Flink任务报错akka size oversized

article 2024/10/23 5:03:58

文章目录

  • JobManager日志
  • RPC / Akka
  • 原因分析

JobManager日志

ERROR 2024-10-11 09:55:27.381 [flink-akka.actor.default-dispatcher-21:a.r.EndpointWriter@77] [container_e03_1684219709246_3097_01_000001] Transient association error (association remains live)
akka.remote.OversizedPayloadException: Discarding oversized payload sent to Actor[akka.tcp://flink@core-75f4409-03:45402/user/rpc/taskmanager_0#-309080867]: max allowed size 10485760 bytes, actual size of encoded class org.apache.flink.runtime.rpc.messages.RemoteRpcInvocation was 16656583 bytes.

RPC / Akka

Flink使用Akka进行组件之间的RPC(JobManager/TaskManager/ResourceManager)。Flink不使用Akka进行数据传输。
在这里插入图片描述
jobmanager通过akka发送给taskmanager的message超过了默认的大小，可以临时先调大。

原因分析

实测删除checkpoint可以正常重启。该文章有相关分析
https://stackoverflow.com/questions/75363084/jobs-stuck-while-trying-to-restart-from-a-checkpoint


http://www.kler.cn/news/361121.html

相关文章：

  • linux介绍与基本指令
  • 【深度学习中的注意力机制6】11种主流注意力机制112个创新研究paper+代码——加性注意力（Additive Attention）
  • Git的原理和使用（六）
  • 互联网人口红利趋缓下的社群粉丝经济新模式探索
  • 【Linux】计算机网络协议详解与通信原理探究
  • Linux重点yum源配置
  • 基于 Hugo 的静态响应式网址导航主题
  • sh与bash的区别
  • Linux 防火墙的开启、关闭、禁用命令
  • SpringMVC 中的常用注解和用法
  • 探索Web3生态系统：社区、协议与参与者的角色
  • 详解ip route
  • SpringBoot民宿预订系统：打造在线住宿新体验
  • 软件设计模式------简单工厂模式
  • vue 页面导出gif图片 img 导出gif 超简单~
  • Linux 进程终止和进程等待
  • 基于Java+springboot的流浪天使乐园管理系统
  • mlir learn
  • python的特殊方法
  • ＜a-table＞行数据增加点击事件并获取点击行的数据+自定义button按事件
  • 比亚迪与《黑神话：悟空》的游戏全球战略合作。
  • 代码随想录算法训练营第十天|1. 两数之和，第454题.四数相加II
  • vue 报告标题时间来自 elementUI的 el-date-picker 有开始时间和结束时间
  • 【Vue】Vue3.0（十）toRefs()和toRef()的区别及使用示例
  • 【C++刷题】力扣-#243-最短单词距离
  • 期权懂|想交易科创板ETF期权需要开户账号吗？