当前位置: 首页 > article >正文

Redis 到 Redis 数据迁移同步

简述

Redis 是一个开源的高性能内存数据库,支持键值对和多种数据结构(如字符串、列表、集合、哈希等),常用于缓存、实时数据处理和分布式锁。它提供持久化、主从复制和高可用集群功能,适用于高并发低延迟场景。

本文主要介绍如何通过 CloudCanal 实现 Redis 到 Redis 数据迁移同步。

技术点

基于 PSync 协议同步

CloudCanal 基于 PSync 协议实现 Redis 到 Redis 的数据同步,同步流程如下:

  1. CloudCanal 与 Redis Master 建立 Socket 长连接。
  2. 发送 Auth 命令验证身份(如果有)。
  3. CloudCanal 向 Redis Master 发送 PSync 命令,伪装成一个 Redis Slave 节点。
  4. Redis Master 节点持续向 CloudCanal 伪装的 Redis Slave 节点推送 二进制数据流
  5. CloudCanal 将二进制数据流解析为 Redis 命令,发送给目标端执行。
    请添加图片描述

双向同步防循环能力

CloudCanal 采用辅助命令实现 Redis 之间的双向同步防循环。

当收到正常指令,CloudCanal 计算其 hash 值,构建辅助指令 Key,反向查询辅助指令是否存在,如果存在则为循环。随后,CloudCanal 反向删除对应辅助命令,如果删除成功,过滤即可。

对于对端写入以及源端查询辅助指令,CloudCanal 进行了批量和多线程优化,同步性能得到有效提升。

请添加图片描述

过滤超大 Key 能力

在实际的 Redis 业务使用中,由于历史遗留问题或维护不当,可能会出现一些体积过大的 Key。

在数据同步场景下,这些超大 Key 容易引发任务同步异常。CloudCanal 提供了灵活的任务参数配置,支持过滤超出指定大小的 Key。

操作示例

步骤 1: 安装 CloudCanal

请参考 全新安装(Docker Linux/MacOS),下载安装 CloudCanal 私有部署版本。

步骤 2: 添加数据源

登录 CloudCanal 控制台,点击 数据源管理 > 新增数据源

步骤 3: 创建任务

  1. 点击 同步任务 > 创建任务

  2. 配置源和目标数据源。

    1. 选择源和目标实例,并分别点击 测试连接
    2. 在源端实例下方 高级配置 中选择 启用 DB 映射 :是/否。当启用 DB 映射时,需要确保源端 Redis 实例与目标端 Redis 实例 DB 数量相同。
  3. 选择 数据同步 并勾选 全量初始化

  4. 点击 确认创建

    任务创建过程将会进行一系列操作,点击 同步设置 > 异步任务,找到任务的创建记录并点击 详情 即可查看。

    Redis 源端的任务创建会有以下几个步骤:

    • 分配任务执行机器
    • 创建任务状态机
    • 完成任务创建
  5. 等待任务自动流转。

    当任务创建完成,CloudCanal 会自动进行任务流转,其中的步骤包括:

    • 全量数据迁移: 已存在的存量数据将会完整迁移到对端。
    • 增量数据同步: 增量数据将会持续地同步到对端数据库,并且保持实时(秒级别延迟)。

总结

本文简单介绍了如何使用 CloudCanal 进行 Redis 到 Redis 数据迁移同步,打通数据流动的渠道,实现端到端的精准数据传输。


http://www.kler.cn/a/445633.html

相关文章:

  • 指令v-on 调用传参
  • leetcode:3285. 找到稳定山的下标(python3解法)
  • pdf文件中的表格无损提取方案(pdf转Excel),非OCR
  • Spring Boot中Bean的 构造器注入、字段注入和方法注入
  • 【网络云计算】2024第51周-每日【2024/12/17】小测-理论-解析
  • 蓝桥杯刷题——day8
  • [RocketMQ] 发送重试机制与消费重试机制~
  • JDK21执行java -jar xxx.jar 文件时 “An unexpected error occurred” 问题处理
  • uniapp 自定义图标03
  • vscode容器调试使用-1.调试使用深入
  • VSCode:Remote-SSH插件安装使用 -- 在VSCode中使用SSH
  • Gin-vue-admin(4):项目创建前端一级页面和二级页面
  • Git 实用命令总结指南
  • 如何在 Debian 12 上安装 Chef Infra Server 自动化运维工具
  • springboot检测配置是否存在,如果存在则返回,不存在则提示新增
  • 网站安全监测存在的挑战,以及应对方案
  • java线程共享模型之管程(synchronized原理、wait-notify、park方法)
  • 【波数】常见波数计算公式及分析
  • 防火墙(RHCE)
  • RNN LSTM Seq2Seq Attention