当前位置: 首页 > article >正文

flink并行度

1.TaskSlot

TaskSlot、TaskManager、Task

一个taskManager可以有多个taskSlot,可以在flink-conf中设置。

一个taskSlot中可以有多个task。

TaskSlot是Flink中最小的资源管理单元,它仅均分TaskManager上的内存,但不隔离CPU。例如图中,每个TaskManager上面有3个TaskSlot,那么意味着每个TaskSlot有三分之一TaskManage内存。

Flink的Job逻辑会被分为一个一个的Task,在资源分配上,Flink保证Task的每个并行度一定有个TaskSlot使用。例如图中,source/map组成的Task的并行度为2,它就分别占用两个TaskManager上各一个TaskSlot。

同一个TaskManager上面的多个TaskSlot它们共享一个TCP连接、心跳、以及一些数据集和数据结构。避免每个TaskSlot都维护这些东西,导致资源浪费。

TaskSlot共享

TaskSlot是可以共享的,前提是同一个Job的多个Task,那么其中几个Task是可以共享使用同一个TaskSlot的。例如图中,source/map,keyBy/windows/appy,sink这三个Task共享使用了一个TaskSlot。

这种共享方式主要有两个优点:

  1. 提高资源利用率。以source/map,keyBy/windows/appy,sink这三个Task共享一个TaskSlot为例。如果没有TaskSlot共享,那么source/map就会独立占用一个TaskSlot,而source/map操作并不是一个资源密集型逻辑,就会造成一个TaskSlot资源空闲。相反keyBy/windows/apply却是一个资源密集逻辑,需要比较多的资源(内存和CPU),但此时缺要分配额外的一个TaskSlot去跑,而不是去使用空闲的资源,这时就造成了资源浪费。
  2. 无需关心一个Job有几个Task从而去计算需要几个TaskSlot。如果没有TaskSlot共享,那么为了最大程度上提高Flink Job的运行性能,就必须要去计算我需要配置几个TaskSlot(因为一个Task独占一个TaskSlot),此时用户就需要去计算我需要配置几个TaskSlot。而在有了TaskSlot共享的基础上,Flink会保证TaskSlot的数量一定是等于Job的最大并发数,每个TaskSlot至少一个Task使用。此时,用户要考虑的仅仅是如何设置TaskSlot数量,保证CPU被充分利用,以及内存被适度均分。

http://www.kler.cn/a/487976.html

相关文章:

  • 功能篇:mybatis中实现缓存
  • 【MySQL 保姆级教学】用户管理和数据库权限(16)
  • Spring Boot教程之四十九:Spring Boot – MongoRepository 示例
  • 【Linux】shell脚本编程
  • uniapp实现后端数据i18n国际化
  • C语言基本知识复习浓缩版:标识符、函数、进制、数据类型
  • 软考信安19~操作系统安全保护
  • 记录一下vue2项目优化,虚拟列表vue-virtual-scroll-list处理10万条数据
  • 弹性云服务器和普通服务器的区别
  • likeshop同城跑腿系统likeshop回收租赁系统likeshop多商户商城安装及小程序对接方法
  • 【GIt原理与使用】Git远程仓库
  • 从 C# 和 WPF 转向 Blazor 开发快速精通方法
  • MySQL主从:如何处理“Got Fatal Error 1236”或 MY-013114 错误(percona译文)
  • Java-数据结构-栈与队列(StackQueue)
  • .NET AI 开发人员库 --AI Dev Gallery简单示例--问答机器人
  • 动手学深度学习-深度学习计算-5读写文件
  • 2025年华为OD上机考试真题(Java)——判断输入考勤信息能否获得出勤奖
  • 11 消息机制
  • 优化 Azure Synapse Dedicated SQL Pool中的 SQL 执行性能的经验方法
  • 在爱快iKuai路由系统上添加docker功能!操作很简单
  • 【漫话机器学习系列】041.信息丢失(dropout)
  • Http请求响应——请求
  • CES Asia 2025:VR/AR/XR引领科技新潮流
  • 12_Redis发布订阅
  • Unity + Firebase + GoogleSignIn 导入问题
  • 三线结构光避障远近有度,石头自清洁扫拖机器人G30上市