当前位置: 首页 > article >正文

【Apache paimon】-- 7 -- tag 创建与管理

目录

1、前言

2、操作说明

2.1、自动创建与删除 Tag

2.2、手动创建和删除 tag

2.3、回退到指定Tag

2.4、查询 tag 元数据和数据

2.4.1、查询 tag 元数据

2.4.2、查询 tag 数据

2.4.3、情景1:读取指定 tag 的数据

2.4.4、情景2:读取两个 tag 间的增量数据

3、其他配置说明

3.1、设置自动创建的 tag 名称格式

3.2、与 Flink Savepoint 结合使用

4、参考


1、前言

       apache paimon 的快照提供了一种非常容易访问历史数据的方法,但 flink job 会生成太多快照。我们通过 tag 策略可以保留重要的快照,删除不重要的 snapshot。创建 tag 的快照,在进入过期清除流程时,快照的元数据与数据文件仍会被持续保存。 

        当快照过期后,利用 tag 仍能追溯查询到特定时间点的数据。在实践中,我们通常每日生成一个 tag ,能够确保对每一天历史数据的持久访问能力,为数据分析、审计和追溯等应用场景提供了支撑。本文将介绍(1)如何自动和手动创建与删除Tag、(2)回退到指定Tag、(3)查询Tag数据及高级配置。

2、操作说明

2.1、自动创建与删除 Tag

      Apache Paimon支持在写入数据的过程中,按照指定参数的配置去自动创建 Tag 以及删除过期的 Tag。配置相关表的参数如下


http://www.kler.cn/a/407745.html

相关文章:

  • 【C++】list使用详解
  • 【从零开始的LeetCode-算法】3297. 统计重新排列后包含另一个字符串的子字符串数目 I
  • java操作doc——java利用Aspose.Words操作Word文档并动态设置单元格合并
  • 基于Java Springboot高校教室资源管理系统
  • React面试宝典
  • 丹摩|重返丹摩(下)
  • 低代码搭建crm系统实现财务管理功能模块
  • ORACLE删不掉job,如何解决。
  • Ansys Zemax | 使用多重结构操作数控制单一结构系统中的参数
  • Linux|内存级文件原理
  • Angular Essentials 扩展包教程
  • R中单细胞RNA-seq数据分析教程 (2)
  • 大数据技术之SparkCore
  • 视频截断,使用 FFmpeg
  • torch_geometric使用手册-Creating Message Passing Networks(专题二)
  • Docker 配置 HTTP 和 HTTPS 网络代理
  • 【MATLAB蓝牙定位代码】三维平面定位设计,通过N个蓝牙锚点实现对未知位置的精准定位
  • (STM32)ADC驱动配置
  • [RabbitMQ] 重试机制+TTL+死信队列
  • vue3---watch监听