当前位置: 首页 > article >正文

flink消费kafka限制消费速率

flink版本1.14 别的版本类似

需要速率限制的情况

1.任务异常在停止的时间内大量数据挤压

2.新任务上线需要铺底数据,消费几天前的数据

在不增加内存和并行度的情况下,如果任务启动可能会造成oom,这时需要进行速率限制。

前提

漏桶算法(Leaky Bucket Algorithm):

  1. 原理: 漏桶算法的原理类似于一个物理上的漏桶。数据请求被看作水滴,这些水滴被放入一个固定容量的漏桶中。漏桶以固定的速率漏水,当水满时,多余的水滴会被溢出丢弃。因此,漏桶算法对流量进行了平滑处理。

  2. 工作方式: 请求被放入漏桶,以固定的速率从桶中漏出,如果请求过来的速率过快,桶就会溢出,溢出的请求将被丢弃或进行特殊处理。

  3. 优点: 简单、直观,可以平滑突发流量。

令牌桶算法(Token Bucket Algorithm):

  1. 原理: 令牌桶算法使用一个令牌桶来控制请求的发送速率。桶中以固定速率产生令牌,每个令牌代表一个允许通过的请求。当请求到达时,如果有足够的令牌,请求被允许通过,并且一个令牌被消耗;否则,请求被缓存或拒绝。

    </

http://www.kler.cn/a/152067.html

相关文章:

  • 【ARM CoreLink 系列 8.1 -- SMMU 详细介绍-STE Entry 详细介绍 1】
  • 通用plantuml模板头
  • Spring三级缓存处理循环依赖的过程
  • 10.30 作业 C++
  • 【NGINX--10】高可用性部署模式
  • 万户ezOFFICE wpsservlet任意文件上传漏洞复现
  • centos7配置tomcat
  • 阅读文献总结2023
  • CTA-GAN:基于生成对抗性网络的主动脉和颈动脉非集中CT血管造影 CT到增强CT的合成技术
  • MySQL 大表设计
  • Echarts 柱状图添加标记 最大值 最小值 平均值
  • 【开题报告】基于SpringBoot的在线打印预约系统的设计与实现
  • 学习笔记:Pytorch 搭建自己的Faster-RCNN目标检测平台
  • 【双向链表的实现】
  • JS设计模式 — 行为委托
  • 基于php的求书网的设计与实现
  • 【Vulnhub 靶场】【DriftingBlues: 9 (final)】【简单】【20210509】
  • python进阶技巧
  • QtCMake工程提升类后找不到头文件
  • linux /proc 文件系统