您现在的位置是:首页 > 正文

不停服! 怎么迁移数据

2024-04-01 07:36:02阅读 2

原文

前言

数据迁移时, 为了保证数据的一致性, 往往伴随着停服, 此期间无法给用户提供服务或只能提供部分服务. 同时, 为了确保迁移后业务及数据的正确性, 迁移后测试工作也要占用不少时间. 如此造成的损失是比较大的。

接下来, 本文将就如何在不停服的情况下进行数据迁移进行探讨。

案例

订单系统中存在这样一组订单表:

数据库: MySQL
表名: order_{0~19}, 其中{0~19}为后缀, 合共20张表.
主键: order_id, 订单ID, 通过雪花算法获得, 可通过ID获取创建时间.
原分表策略: order_id % 20

伴随着业务量增长, 各分表的数据量已经破千万, 如此下去会产生严重的性能问题, 此时需要将原分表进行迁移.

要求:

  1. 将原20张分表数据迁移至新表
  2. 迁移全过程中不可停机, 须对外提供完整的服务.
  3. 提供完备的回退方案, 迁移过程中产生的数据不可丢, 不能人为修数据。


    11464886-81fb77c0050f71d2.png
    原分表策略

分析

分析一下原分表策略存在问题: 订单数据肯定会伴随着时间和业务量直线上升, 固定的分表数量会导致随数据量增大性能下降. 所以, 数据迁移后, 分表的数量不能再固定, 即使从20改成100个总有一天也会达到瓶颈。

订单数据会伴随时间增长, 而且在超过退款期限后就变成了冷数据, 使用率会降低. 因此, 将订单按照创建时间来进行分表是一个不错的选择. 值得一提的是, order_id是通过雪花算法获得, 可以从order_id中获取创建时间, 可以通过order_id直接获取分片键。

11464886-9ea8b25536eec461.png
新分表策略

迁移方案分析

数据迁移的方案从业务层数据库层各有不同的迁移方案, 我们先列举一些进行比对:

  1. 业务层: 在业务层进行硬编码, 数据双写, 以某个时间点进行划分, 新产生的数据同时写入新表, 运行一段时间后将旧数据迁移至新表. 成本极高, 与业务耦合严重, 不考虑.

  2. 连接层: 是方案1的进阶版, 在连接层拦截SQL进行双写, 与业务解耦, 但与1有着同样的一个问题: 周期较长, 要确保旧数据不会产生变更才能进行迁移.

  3. 触发器:通过触发器将新产生的数据同步到新表, 本质上与2差不多.

  4. 数据库日志: 从某一时间点T备份数据库, 将备份库的数据迁移至新表, 从时间点T读取日志, 恢复到新表, 并持续写入. 待两份数据保持同步后, 上线新代码.

  5. 伪装从库: 相对于方案4的优势是不需要直接去读取日志, 解决了数据库在云上不方便直接读取日志的问题.

相比较之下, 方案4和5都是可选的, 因数据库在云上, 直接读取日志不方便, 且方案5有成熟的开源中间件canal可用, 故笔者选择了方案5.

Canal文档地址: github.com/alibaba/can…

11464886-c78b7555cefc361d.png
迁移

回退方案分析

新代码上线后, 谁也不能确保百分百没问题. 若迁移失败, 必须要进行回滚. 所以, 需要保证原数据和新数据的同步.
所以, 在前一小节方案5的基础上, 切流量到新集群后, 我们停止数据同步, 从切流量时刻开始同步新表数据到旧表, 方案也是伪装从库. 如此就能保证新旧表的数据同步, 如果上线后发生了异常, 将流量切回旧集群即可.

整体方案设计

备份源数据

  1. 执行flush logs: 生成新的binlog, 恢复数据将从这里开始.
  2. 备份数据表(order_{0~19}): 将源(旧)数据表从主库A复制到备份库B


    11464886-49db01065d68db1d.png
    备份源数据

恢复并同步数据

  1. 在主库A创建足够的新表, order新表按照月进行分表.
  2. 写脚本读取备份库B中的order表, 写入主库A的order新表.
  3. 通过canal开始同步旧表数据到新表, 命名为[同步过程-a].


    11464886-ffefe95c396fa4a4.png
    同步

上线

  1. 编译新代码并弹一个新的集群, 确认完全启动完成.
  2. 执行flush logs生成新的binlog, 新表向旧表同步数据将从这里开始.
  3. 流量切到新集群.
  4. 停止[同步过程-a].
  5. 开始从新表向旧表同步数据.

回退

上线后应及时进行测试, 一旦发现严重的异常就立即将流量切回旧集群.

结语

  • flash logs要先于备份源数据表, 即使中间有些许时间间隔也不会影响数据的最终一致 (听binlog的总没错).
  • 数据无价, 谨慎操作.

如果这篇文章对您有帮助,请点个赞吧 ( ̄▽ ̄)"

网站文章

  • Android笔记之ColorFilter:图片点击变暗

    零 一、ColorFilter似个嘛 小德在做一个imageview点击会变暗的效果的时候设置的这个ColorFilter,类如其名,介就似个色彩过滤器,用的好的话能像美工一样ps你的imagevie...

    2024-04-01 07:35:35
  • train loss与test loss结果分析

    train loss 不断下降,test loss不断下降,说明网络仍在学习;train loss 不断下降,test loss趋于不变,说明网络过拟合;train loss 趋于不变,test lo...

    2024-04-01 07:35:27
  • 算法题

    1,快速排序题目形式:手写一下快速排序算法。题目难度:中等。出现概率:约50%。手写快排绝对是手撕代码面试题中的百兽之王,掌握了它就是送分题,没有掌握它就是送命题。参考代码:defquick_sort(arr,start=0,end=None):ifendisNone:end=len(arr)-1if...

    2024-04-01 07:35:18
  • 如何进行python函数参数的传递?

    之前跟大家已经说过了的函数参数,以及路径传递方式,这样大家是否进行联系起来了呢?因为我们的编写内容是个活水,需要我们源源不断的往下流淌,因此关于传递这块内容,大家一定要跟着小编好好学习接下来的内容哦~...

    2024-04-01 07:34:53
  • 剑指offer-数组中重复的数字

    题目描述 在一个长度为n的数组里的所有数字都在0到n-1的范围内。 数组中某些数字是重复的,但不知道有几个数字是重复的。也不知道每个数字重复几次。请找出数组中任意一个重复的数字。 例如,如果输入长度为...

    2024-04-01 07:34:46
  • Makefile教程

    Makefile教程

    Makefile教程实例一​ 我们刚开始学习使用Linux编译c代码,一般都是使用gcc进行编译,如下:test.c#include <stdio.h>int main(){ printf("Hell...

    2024-04-01 07:34:37
  • js清空fckeditor的值。

    FCKeditorAPI.GetInstance('FCKeditor1').EditorDocument.body.innerHTML = "";

    2024-04-01 07:34:31
  • 计算机学院李成伟,河南科技学院校长李成伟一行看望慰问我院招生录取工作人员...

    计算机学院李成伟,河南科技学院校长李成伟一行看望慰问我院招生录取工作人员...

    7月27日上午,河南科技学院校长李成伟、校长办公室主任张彦军等一行在新科学院院长刘鸣韬,副院长张传来、张宝剑、姚素梅的陪同下,来到我院远程网上录取现场,看望慰问工作人员,检查指导招生录取工作。在录取工...

    2024-04-01 07:34:06
  • [图文] Seata AT 模式分布式事务源码分析

    [图文] Seata AT 模式分布式事务源码分析

    推荐阅读 Seata TCC 分布式事务源码分析公众号 Young_Blog什么是 Seata AT 模式Seata AT 的使用方法第一步,增加全局事务注解第二步,配置代理数据源第三步,新建 undo_log 表Seata AT 的工作流程工作流程总览图解 AT 模式一阶段流程图解二阶段 Commit 流程图解二阶段 Rollback 流程本节小结...

    2024-04-01 07:33:57
  • 去除字符串中的中文 最新发布

    上述代码中,首先定义了一个字符串 str,表示需要处理的字符串。第一次替换使用了正则表达式 [\u4e00-\u9fa5]+,表示匹配任意一个中文字符,并将它们替换为一个空格。第二次替换使用了同样的正...

    2024-04-01 07:33:50