当前位置: 首页 > article >正文

(十六)Flink 状态管理

目录

状态类型

Keyed State

Keyed State 分类

状态有效期(TTL)

过期数据的清理

Operator State

Broadcast State

状态存储

State Backends 分类

设置 State Backend

RocksDB State Backend 详解


在 Flink 架构体系中,状态(State)计算是其重要的特性之一。状态用来保存中间计算结果或缓存数据。比如:

  • 当应用程序搜索某些事件模式时,状态将存储到目前为止遇到的事件序列。
  • 当按分钟/小时/天聚合事件时,状态保存待处理的聚合。
  • 当在数据点流上训练机器学习模型时,状态保存模型参数的当前版本。
  • 当需要管理历史数据时,状态允许有效访问过去发生的事件。

根据数据集是否按照 Key 划分,将状态分为 Keyed State 和 Operator State(Non-keyed State)两种类型。本章我们将从状态的类型、状态有效期、状态存储、状态持久化方面详细进行介绍。

状态类型

Flink 中定义了多种 State,基于不同的数据结构,应用不同的场景。

  • ValueState: 保存一个可以更新和检索的值(每个值都对应到当前的输入数据的 key,因此算子接收到的每个 key 都可能对应一个值)。这个值可以通过 update(T) 进行更新,通过 T value() 进行检索。
  • ListState: 保存一个元素的列表。可以

http://www.kler.cn/a/281891.html

相关文章:

  • Java 使用MyBatis-Plus数据操作关键字冲突报错You have an error in your SQL syntax问题
  • 群控系统服务端开发模式-应用开发-前端级别功能开发
  • MySQL45讲 第二十四讲 MySQL是怎么保证主备一致的?——阅读总结
  • 面试题:Kafka(一)
  • 前端处理input框只能输入带小数点的数字
  • Http常⻅见请求/响应头content-type内容类型讲解(笔记)
  • [论文笔记] eval-big-refactor lm_eval 每两个任务使用一个gpu,并保证端口未被使用
  • 网络爬虫--生成假数据
  • uniapp icons图标不显示的问题解决
  • Python爬虫(一文通)
  • Leetcode 131.分割回文串 回溯 C++实现
  • 淘宝扭蛋机小程序,市场发展下的潜在机遇
  • Vue(三)内置指令v-text、html、cloak、once、pre;自定义指令的三种方式、Vue生命周期
  • 如何切换当前使用的IP代理协议
  • 【网络安全】服务基础第一阶段——第二节:Windows系统管理基础----虚拟化IP地址以及用户与组管理
  • 一起搭WPF之列表界面设计
  • [每日一练]查询结果的质量和占比(布尔值的灵活使用)
  • 猫咪掉毛如何清理?希喂、范罗士宠物空气净化器性能比拼
  • 嵌入式UI开发-lvgl+wsl2+vscode系列:11、SSD202移植运行评估demo程序
  • vue ref和reactive区别
  • 在发布您的插件之前,如何在 ONLYOFFICE 插件市场中进行测试?
  • 如何在Java爬虫中设置代理IP:详解与技巧
  • python使用多进程multiprocessing
  • Python运行时环境
  • 小程序自定义组件配合插槽和组件传值
  • C语言中的野指针