当前位置: 首页 > article >正文

流式处理,为什么Flink比Spark Streaming好?

1 、反压机制
Flink 在数据传输过程中使用了分布式阻塞队列,一个阻塞队列中,当队列满了以后发送者会被天然阻塞住,这种阻塞功能相当于给这个阻塞队列提供了反压的能力。
Spark Streaming 为了实现反压这个功能,在原来的架构基础上构造了一个 速率控制器 ,这个 速率控制器” 会根据几个属性,如任务的结束时间、处理时长、处理消息的条数等计算一个速率。在实现控制数据的接收速率中用到了一个经典的算法,即“PID 算法
2 、延迟方面
Spark Streaming 是秒级别的
Structured Streaming 是毫秒级别的
Flink 是亚秒级别的
3 、状态存储方面
Spark 的状态管理目前做的比较简单 , 只有两个对应的算子( UpdateStateByKey mapWithState )。
Flink 提供文件、内存、 RocksDB 三种状态存储,五种类型的状态,( ValueState ListState
ReducingState AggregatingState FoldingState MapState )。
4 、灵活的窗口
Spark 只能根据处理时间窗口批量处理。
Flink 可以基于处理时间,数据时间,没有记录等的窗口。
5 、实时方面
Flink 是真正的实时计算,在状态数据和 Checkpoint 容错上做的比较好,能够做到 exactly once

http://www.kler.cn/a/443870.html

相关文章:

  • Vue3之状态管理Vuex
  • RadiAnt DICOM - 基本主题 :从 PACS 服务器打开研究
  • Marin说PCB之POC电路layout设计仿真案例---06
  • 【LeetCode】394、字符串解码
  • Java游戏开发基础:从零开始制作一个简单的2D游戏
  • 常用Python自动化测试框架有哪些?
  • 前端JavaScript(六)---JS中的事件
  • 中软高科身份证云解码金融(银行)解决方案介绍
  • 智源大模型通用算子库FlagGems四大能力升级 持续赋能AI系统开源生态
  • 简单工厂、工厂方法、抽象工厂的区别
  • 哪些视频媒体平台可给企业直播间做分发拉流转播宣传?提升流量数据!
  • 如何配置防火墙提高服务器安全性
  • 【C语言】常见的scanf()接收异常及注意事项
  • websocket的心跳检测和断线重连
  • 开源 AI 智能名片 S2B2C 商城小程序中运营与产品的关系剖析
  • PHP基于Google Authenticator双因素身份验证实现动态码验证
  • 江协科技 OLED库 OLED_Print( )函数自动换行
  • uniapp获取内容高度
  • UE5中实现Billboard公告板渲染
  • 使用脚手架搭建vue项目
  • 利用HashMap设计学生管理系统
  • 云原生是什么
  • 消息系统之 Kafka
  • 初始Python篇(10)—— 初识 类与对象
  • Flask入门:打造简易投票系统
  • 项目管理工具Maven(一)