当前位置： 首页 > article >正文

flinkcdc 问题记录篇章

article 2025/1/24 14:48:10

startupOptions 讲解

startupOptions 有三个参数initial、earliest、latest
initial：因为binlog中不一定包含所有的数据，那么需要全表扫描所有的表，形成快照。常用于历史数据
earliest：从最早的变更日志开始读取（仅增量，忽略全量数据）。
latest：读binlog中最新的数据 ，常用实时表
在这里插入图片描述

算子并行度

在这里插入图片描述

kafka 事务方式

在这里插入图片描述

kafka两阶段时间不能超过flink第一阶段提交的时间，所以这里直接设置最大15分钟
在这里插入图片描述
上面的方式是kafka生产者的两阶段提交保证的事务，消费者也需要
在这里插入图片描述

在这里插入图片描述


http://www.kler.cn/a/300001.html

相关文章：

  • vs code为不同项目设置不同的背景图
  • 深入理解三高架构：高可用性、高性能、高扩展性的最佳实践
  • Linux 消息队列的使用方法
  • 低代码可视化-转盘小游戏可视化-代码生成器
  • postgresql15的启动
  • 移动端VR处理器和传统显卡的不同
  • 只有IP地址没有域名怎么实现HTTPS访问？
  • 【高级编程】Java IO流（补）序列化 反序列化
  • Pyspark下操作dataframe方法(1)
  • eNUM 原理概述(VoNR VoLTE适用) eNUM 报文解析
  • Vue2使用Vue CLI学习笔记
  • python 实现kadanes卡达内斯算法
  • 基于协同过滤算法+SpringBoot+Vue+MySQL的商品推荐系统
  • 人工智能帮你管理 ADHD 的7种方法
  • [Git使用] 实战技巧
  • 建造者模式builder
  • 九月五日（k8s配置）
  • 【学习笔记】手写Tomcat 二
  • 使用Python的内置的turtle模块来绘制中秋节快乐场景
  • 每日一题 二分查找分巧克力
  • 下班后做小红书第7个月，涨粉7w，累计变现5w+，我只用到五个点
  • 微前端 - 对外只开放一个端口
  • 23. C 语言，%d 和 %i的区别
  • Python 数据分析— Pandas 基本操作（下）
  • react js 笔记 3
  • 获取时间，并将时间按一定的格式输出