数据库不停机迁移方案
在业务发展过程中,可能会有需要进行数据迁移的场景。
一般来说可以分为两种
(1)停机迁移
(2)不停机迁移
停机迁移比较简单,步骤如下
(1)根据业务流量数据低峰时间,制定迁移计划。
(2)发布停业公告
(3)届时先停机,保证老库数据不会再变动,然后使用迁移工具进行数据的全量迁移
(4)迁移完成后进行新老数据库数据的对比校验
(5)数据校验没问题,流程切换到新库,完成
停机迁移的问题在于
(1)有的业务压根就不能容忍停机。还有就是数据全量迁移的耗时可能也比较久,长时间停机更是不可能接受。
(2)一把切,万一新库、新应用有什么问题,由于新库中新增的数据在老库中并没有,所有也没法切回老库,有问题也不能回滚。
但是停机迁移最大的好处是:简单!
所以实际业务中一些数据量没那么大,或者一些内部系统,非关键系统,采用这种方式其实是主流。再重复一遍,没有最好的方案,只有最适合的方案,有利就有弊,都是权衡取舍罢了。
不停机迁移步骤
(1)对业务代码进行改造,数据库修改操作改为双写,即同时写入新库和老库
insert:两边同时成功
delete:有的数据新库中没有,也没关系
update:有的数据新库中没有,也没关系
老库的写入不受影响,必须成功。新库的如果不成功也没关系,记录一下日志进行排查即可。
为了不影响系统的响应时间等,写入新库可以弄成异步操作
(2)将旧库所有数据迁移到新表
从老库中查询数据,更新到新库,伪代码
select 所有字段 from 旧表 where id in (select id from 旧表 order by id asc limit #{start},#{batchSize})
如果数据为空就结束
否则对于里面的每条数据
开启事务
select 所有字段 from 旧表 where id = xxx for update;
插入新库(注意需要先delete再insert)
提交事务
这里要注意,一定要加for update锁定数据。
为什么?因为业务代码里面双写还在继续,比如业务代码中更新
update 表xx set monney = 100,然后旧表写入了,但迁移数据数据的读取代码在这之前执行的,所以读到的事旧数据。迁移代码正要把数据写入新库,双写代码已经把新库更新为最新数据,然后迁移代码又把旧数据覆盖上去了。这样就出现了丢失更新的问题。
如果加上for update,则能保证这一条数据在迁移过程中不发生改变,保证新老数据的一致性。
(3)校验两边数据的一致性。数据量太大的时候可以采用一般数据抽查、关键数据全量检查结合的方式
(4)将流量逐步切换到新表。灰度切换。
切换到新表,也就是主要写新的表,旧表也要写,这样如果新库有啥问题可以随时切换回旧库。
(5)平稳运行一段时间后,确保都没问题了,再全部转到新库上。