当前位置: 首页 > article >正文

数据库不停机迁移方案

在业务发展过程中,可能会有需要进行数据迁移的场景。

一般来说可以分为两种

(1)停机迁移

(2)不停机迁移

停机迁移比较简单,步骤如下

(1)根据业务流量数据低峰时间,制定迁移计划。

(2)发布停业公告

(3)届时先停机,保证老库数据不会再变动,然后使用迁移工具进行数据的全量迁移

(4)迁移完成后进行新老数据库数据的对比校验

(5)数据校验没问题,流程切换到新库,完成

停机迁移的问题在于

(1)有的业务压根就不能容忍停机。还有就是数据全量迁移的耗时可能也比较久,长时间停机更是不可能接受。

(2)一把切,万一新库、新应用有什么问题,由于新库中新增的数据在老库中并没有,所有也没法切回老库,有问题也不能回滚。

但是停机迁移最大的好处是:简单!

所以实际业务中一些数据量没那么大,或者一些内部系统,非关键系统,采用这种方式其实是主流。再重复一遍,没有最好的方案,只有最适合的方案,有利就有弊,都是权衡取舍罢了。

不停机迁移步骤

(1)对业务代码进行改造,数据库修改操作改为双写,即同时写入新库和老库

insert:两边同时成功

delete:有的数据新库中没有,也没关系

update:有的数据新库中没有,也没关系

老库的写入不受影响,必须成功。新库的如果不成功也没关系,记录一下日志进行排查即可。

为了不影响系统的响应时间等,写入新库可以弄成异步操作

(2)将旧库所有数据迁移到新表

从老库中查询数据,更新到新库,伪代码

select 所有字段 from 旧表 where id in (select id from 旧表 order by id asc limit #{start},#{batchSize})

如果数据为空就结束

 否则对于里面的每条数据

开启事务

select 所有字段 from 旧表 where id = xxx for update;

插入新库(注意需要先delete再insert)

提交事务

这里要注意,一定要加for update锁定数据。

为什么?因为业务代码里面双写还在继续,比如业务代码中更新

update 表xx set monney = 100,然后旧表写入了,但迁移数据数据的读取代码在这之前执行的,所以读到的事旧数据。迁移代码正要把数据写入新库,双写代码已经把新库更新为最新数据,然后迁移代码又把旧数据覆盖上去了。这样就出现了丢失更新的问题。

如果加上for update,则能保证这一条数据在迁移过程中不发生改变,保证新老数据的一致性。

(3)校验两边数据的一致性。数据量太大的时候可以采用一般数据抽查、关键数据全量检查结合的方式

(4)将流量逐步切换到新表。灰度切换。

切换到新表,也就是主要写新的表,旧表也要写,这样如果新库有啥问题可以随时切换回旧库。

(5)平稳运行一段时间后,确保都没问题了,再全部转到新库上。


http://www.kler.cn/a/282697.html

相关文章:

  • CSS基础知识04
  • AI大模型(二):AI编程实践
  • Dubbo 3.2 源码导读
  • Java垃圾回收算法
  • 使用python-Spark使用的场景案例具体代码分析
  • Python期末复习 | 列表、元组、字典、集合与字符串 | 代码演示
  • 【SpringCloud Alibaba】(九)学习 Gateway 服务网关
  • Golang 教程2
  • 工作 6 年,@Transactional 注解用的一塌糊涂
  • 空间计量 | 空间杜宾误差模型SDEM
  • 基于RK3568平台opencv的图像采集、ffmpeg推流和Windows端拉流(多线程)
  • 新手教学系列——如何实现基于asyncio的高效率 Worker(按需获取任务、防止阻塞与崩溃)
  • 时序预测 | 基于WTC+transformer时间序列组合预测模型(pytorch)
  • 【河北航空-注册安全分析报告-无验证方式导致安全隐患】
  • 图像处理领域的术语解析
  • 【Rust练习】10.元组
  • 【数据结构篇】~链式二叉树(附源码)
  • 两个主机上的Docker容器怎么实现连接
  • 新买的笔记本只有一个C盘,进行磁盘分区的操作
  • 机器人大会引领产业动向,卓翼飞思绘制无人系统教科研新蓝图
  • SpringBoot依赖之PostgreSQL Driver集成
  • Docker搭建 Nexus Maven 私有仓库教程
  • ffmpeg教程及加速视频转码
  • 履带式森林消防车的功能和应用_鼎跃安全
  • 微服务实战系列之玩转Docker(十三)
  • ts转mp4怎么转?分享3个方法,快速搞定