当前位置: 首页 > article >正文

Flink Gauss CDC:深度剖析存量与增量同步的创新设计

目录

设计思路

1.为什么不直接用FlinkCDC要重写Flink Gauss CDC

2.存量同步的逻辑是什么

2.1、单主键的切片策略是什么

2.2、​​​​​复合主键作切片,怎么保证扫描到所有的数据

3、增量同步的逻辑是什么

4、存量同步结束之后如何无缝衔接增量同步 

5、下游数据如何落库

6、项目结构大概怎么样

总结


设计思路

1.为什么不直接用FlinkCDC要重写Flink Gauss CDC

GaussDB 是华为内部自研的一套数据库,提供了类似于PostgreSQL的逻辑复制插件。Gauss100 OLTP逻辑复制解析包含逻辑日志信息的REDO日志,只有当表逻辑复制开关和全局逻辑复制开关同时打开时,该表的数据才会被逻辑复制。变化的数据最终到kafka,假设对表USRSAMPLE.T1(F1,F2)字段分别进行插入,更新,删除操作同步的消息格式如下:

[
    {
       

http://www.kler.cn/a/515761.html

相关文章:

  • 时序数据库的使用场景
  • Spring 是如何解决循环依赖问题
  • doris:腾讯云 COS导入数据
  • postgresql15的启动
  • Java 中的设计模式:经典与现代实践
  • AIGC浪潮下,图文内容社区数据指标体系如何构建?
  • 自定义UITableViewCell
  • 小米Vela操作系统开源:AIoT时代的全新引擎
  • 《安富莱嵌入式周报》第349期:VSCode正式支持Matlab调试,DIY录音室级麦克风,开源流体吊坠,物联网在军工领域的应用,Unicode字符压缩解压
  • 网络协议入门:OSI模型与TCP/IP栈
  • 深度学习系列75:sql大模型工具vanna
  • linux网络 | 传输层TCP | 认识tcp报头字段与分离
  • 心法利器[127] | 24年算法思考-特征工程和经典深度学习
  • 【计算机网络】- 应用层HTTP协议
  • JavaScript —— 输入与输出
  • Java TCP可靠传输(1)
  • 简识JVM栈帧中的操作数栈
  • Postgres与MySQL对比
  • 基于微信小程序的优购电商系统设计与实现(LW+源码+讲解)
  • flask常见问答题
  • 【华为交换的vlan配置】
  • C#语言的区块链
  • 基于51单片机和ESP8266(01S)、八位数码管、独立按键的WiFi定时器时钟
  • IDEA运行Java项目总会报程序包xxx不存在
  • MMDetection学习系列(5)——Mask R-CNN深度探索与实战指南
  • 如何“看到” Spring 容器?