当前位置： 首页 > article >正文

flink的streamGraph逻辑图优化为jobGraph

article 2025/2/11 22:37:36

streamGraph到jobGraph主要作用是优化某些节点的合并，避免任务网络开销， 将多个节点合并在一个slot内执行

从起点开始遍历递归， 判断 边 的上限由节点的并行度是否一致， 及下游算子节点只有一个上游等， 把每个节点的上下游节点是否可合并放入两个集合中，然后再递归遍历两个集合中的节点
在这里插入图片描述

如果判断下游节点是可chain的， 则不可chain得递归会被忽略，如下代码
在这里插入图片描述

然后把可chain的节点放入 以起始节点为key, value是list的map中，把他们可chain一起的算子保存在一起
在这里插入图片描述

；

另外分析下游节点不可chain时， 则走如下递归
在这里插入图片描述
当判断起始节点和当前节点一致时，开启新的chain;
在这里插入图片描述
类似递归createChain 形成新的chain节点；

在这里插入图片描述


http://www.kler.cn/a/541233.html

相关文章：

  • 【Windows】PowerShell 缓存区大小调节
  • Visual Studio踩过的坑
  • elasticsearch安装插件analysis-ik分词器（深度研究docker内elasticsearch安装插件的位置）
  • 【Unity】性能优化：UI的合批 图集和优化
  • Hive之[Hive]详细安装步骤
  • 【分布式理论7】分布式调用之：服务间的（RPC）远程调用
  • 集线器，交换机，路由器
  • ＜ 自用文儿 ＞ 在 Ubuntu 24 卸载 Docker 应用软件与运行的容器
  • [UE5] 在Custom 节点中自定义函数
  • 【C++高并发服务器WebServer】-13：多线程服务器开发
  • 数巅科技中标科学城数科集团AI辅助企业数字化转型评估诊断
  • 整合ES（Elasticsearch）+MQ（RabbitMQ）实现商品上下架/跨模块远程调用
  • redis底层数据结构——链表
  • Guava学习(一)
  • DeepSeek 助力 Vue 开发：打造丝滑的步骤条
  • CNN-day5-经典神经网络LeNets5
  • 如何顺利开设Facebook账户并设置广告账户
  • Linux下的调试器 —— gdb
  • 基于 Nginx 的 CDN 基础实现
  • 数据库约束(2)
  • 旅客服务系统（PSS, Passenger Service System）
  • 亚博microros小车-原生ubuntu支持系列 27、手掌控制小车运动
  • OpenAI Deep Research被huggingface 24小时复现开源了
  • leetcode 2104. 子数组范围和
  • C++STL（六）——list模拟
  • IEEE期刊Word导出PDF注意事项