当前位置: 首页 > article >正文

flink-on-yarn两种提交模式及其区别

一、session模式

在yarn上启动一个flink集群,并重复使用该集群,后续提交的任务都是提交给该集群,资源会一直被占用,除非手动关闭。

在这里插入图片描述
特点:需要事先申请资源,启动JobManager和TaskManager。
优点:不需要每次递交都申请资源,而是使用已经申请好的资源,从而提高执行效率。
缺点:作业执行完成以后,不会释放资源,因此会一直占用系统资源。
应用场景:适用作业递交比较频繁 的场景,小作业比较多的场景。

二、Per-Job模式

争对每个flik任务在yarn上启动一个独立的flink集群并运行,结束后自动关闭并释放资源。
在这里插入图片描述
特点:每次递交作业都需要申请一次资源。
优点:作业运行完成后,会立即释放资源,不会一直占用系统资源。
缺点:每次递交作业都会申请资源,会影响执行效率,因为每次申请资源需要消耗时间。
应用场景:适用作业比较少的场景,大作业的场景。


http://www.kler.cn/a/17463.html

相关文章:

  • LabVIEW大数据处理
  • 深入探索离散 Hopfield 神经网络
  • CTF攻防世界小白刷题自学笔记13
  • 2024-11-13 学习人工智能的Day26 sklearn(2)
  • 力扣104 : 二叉树最大深度
  • 深入理解接口测试:实用指南与最佳实践5.0(三)
  • 【Linux问题合集001】Linux中如何将用户添加到sudo组中的步骤
  • 武忠祥老师每日一题||不定积分基础训练(六)
  • Lattics ——一款简单易用、好看强大的知识管理工具
  • 【Spring Security第一篇】初始Spring Security、表单认证、认证与授权
  • Docker安全最佳实践
  • 算法的时间复杂度和空间复杂度(友友们专属限定版)
  • linux常用操作
  • Java ---比较器
  • 武忠祥老师每日一题||定积分基础训练(五)
  • java基础:接口的定义与实现
  • 今日事务java所感
  • 深入源码理解redis数据结构(一)
  • 从 Elasticsearch 到 Apache Doris,10 倍性价比的新一代日志存储分析平台
  • IronOCR 2023.4.13 Crack
  • 【移动端网页布局】流式布局案例 ⑥ ( 多排按钮导航栏 | 设置浮动及宽度 | 设置图片样式 | 设置文本 )
  • JDK17新特性之--新的Compact Strings(JEP 254)
  • 以两分钟了解Python之SQLAlchemy框架的使用
  • 腾讯云的cdn怎么配置|腾讯云CDN配置教程
  • ps磨皮插件专用智能磨皮插件 AI算法美颜 提高P图效率
  • 如何在Emacs中设置字体大小?- 探索Emacs的设置字体大小方法