摘要:很多数据库提供的原生迁移工具只能进行全量数据拷贝,为了保证迁移数据一致性,要求业务在数据迁移之前需停止服务。所以这种传统的迁移方案对业务影响极大。为降低数据迁移门槛,阿里云数据传输DTS推出不停服迁移功能。使用不停服迁移功能,可实现整个数据迁移过程中,业务停服时间降低到分钟级别
简介
数据库迁移是系统发展各个阶段,都会遇到的问题。例如数据库压力达到瓶颈需要拆分,业务系统需要迁移上云,测试数据构造等。很多数据库都提供了原生的迁移工具,例如MySQL的mysqldump,SQLServer的SSMA,Oracle的imp/exp。然而这些工具都只能进行全量数据拷贝,为了保证迁移数据一致性,要求业务在数据迁移之前需要停止服务。所以,这种传统的迁移方案对业务影响极大。为降低数据迁移门槛,阿里云数据传输DTS推出不停服迁移功能。使用不停服迁移功能,可实现整个数据迁移过程,业务停服时间降低到分钟级别
传统数据库迁移流程
本小节简单介绍传统全量迁移方案的整个数据迁移流程。
如上图所示,传统数据库迁移流程包括以下几个步骤:
(1) 应用停止服务
(2) 使用工具开始进行数据迁移
(3)启动应用,重新提供服务
所以,整个数据迁移过程当中,应用需要全程停服。如果数据量比较大的情况下,整个应用停服时间可能高达几个小时甚至数天,这对应用影响极大。
不停服数据库迁移流程
本小节简单介绍数据传输DTS提供的增量迁移方案的整个数据迁移流程。
如上图所示,数据传输DTS提供的不停服迁移流程包括以下几个步骤:
(1) 使用DTS,配置数据迁移任务
(2) 迁移任务进入增量数据同步阶段时,当增量数据追平后,将源库应用停服,数据同步快速追平后,将业务切换到目标数据库,启动业务开启服务
所以,整个数据迁移过程当中,应用只需要在要切换之前停服,停服时间降低到分钟级别,极大得降低了数据迁移对业务的影响。
不停服数据库迁移技术原理
本小节简单介绍数据传输DTS提供的不停服迁移的实现原理。
如上如所示,DTS在全量迁移之前,会先在后台启动一个增量日志拉取及解析程序。这个程序会实时获取源数据库在全量迁移过程中产生的任何增量日志,解析并将其封装为DTS自己的数据格式存储在本地存储系统中。当全量迁移完成后,增量数据回放模块,会去拉取模块中读取存储的增量日志数据,然后通过解析、过滤、封装等步骤,最终拼装成要回放的SQL语句,回放到目标数据库,从而实现源数据库同目标数据库之间的增量数据实时同步。
小结
不停服迁移功能是阿里云数据传输DTS提供的低门槛数据迁移方式。目前可以实现MySQL、SQLServer、PostgreSQL的不停服迁移,未来DTS还将提供Oracle、MongoDB、Redis的不停服迁移功能。立即体验 >>
不停服迁移功能只是数据传输DTS提供的一种迁传输方式,除数据迁移之外,数据传输还提供了数据实时同步,实时数据订阅等多种传输能力,通过数据实时同步可以实现数据异地灾备 ,加速跨境业务访问速度 ,打通oltp->olap数据通道 等场景。通过数据订阅可以实现轻量级缓存更新 、核心业务异步解耦 等业务场景。
来源:云溪社区
发表于: 阿里云数据传输服务
【灯塔大数据】微信公众号介绍:中国电信北京研究院通过大数据技术创新,自主研发了业内领先的“灯塔”大数据行业应用创新平台,灯塔面向市场研究、广告营销、商业地理、金融征信、人力资源等诸多行业领域,提供零售研究、消费者研究、店铺选址、精准营销、泛义征信,背景调查等服务,助力企业在大数据时代扬帆远航。
微信公众号【灯塔大数据】关键字回复信息:
回复【思维导图】可以下载12种工具的获取方式
回复【践行者】 观看电信用软件定义来“去电信化”视频
回复【企业家】下载图书购买链接回复【云计算产业趋势分析】 下载分析报告PPT
回复【高峰论坛】 根据编号下载高峰论坛PPT资料
回复【主论坛】 查看《中国电信灯塔大数据高峰论坛》视频回放
回复【技术论坛】 收看技术分论坛视频回放
回复【程序代码】 下载程序代码
回复【 灯塔 】 查看更多关键字回复下载