当前位置: 首页 > article >正文

FlinkCDC实现主数据与各业务系统数据的一致性(瀚高、TIDB)

         文章末尾附有flinkcdc对应瀚高数据库flink-cdc-connector代码下载地址

1、业务需求

        目前项目有主数据系统和N个业务系统,为保障“一数一源”,各业务系统表涉及到主数据系统的字段都需用主数据系统表中的字段进行实时覆盖,这里以某个业务系统的一张表举例说明:业务系统表TableB字段col_b3与主数据系统表TableA中col_a3不一致,需要用col_a3实时覆盖col_b3生成目标表TableB_new中间表,业务系统存储为国产瀚高数据库,中间库用TIDB。

2、需求分析

         业务系统已上线多年,存在历史数据和新数据,需要分两个阶段进行处理。

        第一阶段,历史数据通过TableA、TableB联合关联生成中间表TableC,其中TableC中的主数据字段已用主数据进行了更新,再将TableC实时同步到瀚高数据库中生成一个新的业务表TableB_new(TableC和TableB_new表结构一致);

        第二阶段,历史数据处理结束后,业务系统直接割接到新表TableB_new,后期新的业务数据用TableB_new与主数据表TableA关联,实时生成中间表TableC,再用FlinkCDC,实时同步TableC数据覆盖TableB_new主数据字段。

3、具体实现

        第一阶段流程图,历史数据处理,由TableA和Tabl


http://www.kler.cn/a/145093.html

相关文章:

  • 前端学习-事件委托(三十)
  • 572. 另一棵树的子树
  • openssl 生成证书 windows导入证书
  • Ubuntu安装VMware17
  • 商密测评题库详解:商用密码应用安全性评估从业人员考核题库详细解析(9)
  • 你好!这是我自己的CSDN博客!
  • 5 个适用于 Windows 的顶级免费数据恢复软件
  • stm32中断调用流程
  • Python web自动化测试 —— 文件上传
  • ElasticSearch之文件描述符的数量
  • 从二极管到linux服务器
  • Matplotlib网格子图_Python数据分析与可视化
  • C语言每日一题(39)寻找两个正序数组的中位数
  • Failed to initialize NVML: Driver/library version mismatch
  • Nginx高级
  • BART 并行成像重建:ESPIRiT 重建(两组ESPIRiT maps)
  • DistilBERT模型训练实战
  • 易错知识点(数学一)
  • cJSON的使用——下载、打包与解析
  • [HCIE] IPSec-VPN (手工模式)
  • 「Verilog学习笔记」数据累加输出
  • 队列实现栈VS栈实现队列
  • MATLAB中字符和字符串操作
  • 【anaconda】numpy.dot 向量点乘小技巧
  • 【机器学习 | 聚类】关于聚类最全评价方法大全,确定不收藏?
  • 【LeetCode:828. 统计子串中的唯一字符 | 贡献法 乘法原理】