当前位置: 首页 > article >正文

Flink细粒度的资源管理

Apache Flink致力于为所有应用程序自动导出合理的默认资源需求。对于希望根据其特定场景微调其资源消耗的用户,Flink提供了细粒度的资源管理。这里我们就来看下细粒度的资源管理如何使用。(注意该功能目前仅对DataStream API有用

1. 适用场景

使用细粒度的资源管理的可能场景如下:

  • tasks具有显著不同的并行性
  • 整个管道(pipeline)所需的资源太多,无法放入单个插槽(slot)/任务管理器(taskmanager)
  • 不同阶段的tasks所需资源显著不同的批处理作业

2. 粗粒度和细粒度的资源管理对比

TaskManager中的任务执行资源被划分为许多插槽(slot)。slot是Flink运行时进行资源调度和资源需求的基本单位。

在以前的Flink中,资源需求只包含所需的插槽(slot),没有细粒度的资源配置,即粗粒度的资源管理(即所有slot平分taskmanager资源)。TaskManager


http://www.kler.cn/a/416098.html

相关文章:

  • netconf 代码架构
  • 三、计算机视觉_08YOLO目标检测
  • 设计模式 外观模式 门面模式
  • 学习日记_20241126_聚类方法(自组织映射Self-Organizing Maps, SOM)
  • 软通动力携子公司鸿湖万联、软通教育助阵首届鸿蒙生态大会成功举办
  • Linux操作系统2-进程控制3(进程替换,exec相关函数和系统调用)
  • java——Tomcat连接池配置NIO、BIO、APR
  • AMAZINGIC晶焱科技:AZ5A05-01M:Edge AI 电子系统的完美终极守护者
  • 想入手养宠宠物空气净化器,养宠宠物空气净化器哪个好?
  • DIY-Tomcat part 2 实现Processor和Connector以及测试所用TestClient
  • Vim操作指南
  • GBN协议、SR协议
  • 对象流—ObjectInputStream 和 ObjectOutputStream
  • 攻防世界GFSJ1193 cat_theory
  • 使用 Docker Compose 来编排部署LMTNR项目
  • 图数据库 | 10、图数据库架构设计——高性能图存储架构(上)
  • Zookeeper实现分布式锁、Zookeeper实现配置中心
  • 使用Ansible进行Red Hat Linux自动化运维
  • 基于 SpringBoot 的夕阳红公寓管理系统资源整合与高效利用
  • Python 3 教程第33篇(MySQL - mysql-connector 驱动)
  • 长短期记忆网络 (LSTM) 简介
  • 基于Java Springboot蛋糕商城
  • 开源测试_log4net
  • C语言数据结构——详细讲解《队列》
  • uniapp App端在renderjs层渲染echarts获取不到service层id的问题
  • 数字化转型背景下,高职院校计算机网络应用的革新策略