Mysql复制数据一致性解决方案（mysql 数据复制）
mhr18 2024-10-12 04:56 20 浏览 0 评论
mysql数据库现在这么流行，其复制组件功不可没，虽然其它类型的关系型数据库也有复制功能，向oracle，db2但是其复制组件没有Mysql数据库的复制那么灵活，简便，而且mysql开源，开发着可以很容易的就开发出第三方mysql数据库复制中间件，比较有名的像阿里的DTS。
言归正传，下面就介绍一下mysql的复制的模式，主要分为以下三种种
- 异步复制
mysql数据库默认的复制方式为异步模式。主库在执行完客户端提交的事务后会立即将结果返给给客户端，不关心从库是否已经接收并处理过这些事物。这种模式，主从之间因为延迟，导致数据存在差异，当主库宕机之后，从库接管之后，会导致部分数据丢失，这在某些业务场景是不可接受的。 - 全同步
指当主库执行完一个事务，所有的从库都执行了该事务才返回给客户端。这种全同步模式需要等待所有从库执行完该事务才能返回，会导致复制性能受到影响，并且数据库的TPS也会受到影响。 - 半同步复制
介于异步复制和全同步复制之间，主库在执行完客户端提交的事务后不是立刻返回给客户端，而是等待至少一个从库接收到并写到relay log中才返回给客户端。相对于异步复制，半同步复制提高了数据的安全性。
那是不是配置了数据库的半同步，当发生主从切换之后，业务数据一定不会丢失呢，今天就重点说说半同步复制
先看一下mysql5.6版本的半同步复制原理图
大家有没有从图中发现问题，没错，用户提交的事物在主库“storage commit”，就是说事物已经在主库落地了。然后才进入等待从库去执行该事物，从库执行成功，然后给客户端请求返回成功。
如果主库在“waiting slave dump”阶段宕机了，大家想想会发生什么事情，没错，主库和从库之前就会发生数据不一致。主库比从库多业务数据。
试想一下，主机宕机了，从库接管业务之后，应用已经读到了的数据，在从库删读不到了，因为之前的事物失败了，业务需要重新在从库上做事物，这时候把主库恢复之后，启动主从复制，复制就会报错，因为有主键冲突。这就是mysql半同步的弊端。
在mysql5.7版本修改半同步的流程，解决了在5.6版本中的数据不一致问题，其流程如下所示
从图中可以看到，mysql调整了"Engine commit"的执行顺序，将"Waiting Slave dump"被调整到"Storage Commit"之前，主库将每个事务写入binlog，传递到slave刷新到磁盘，同时主库提交事务。master等待slave反馈收到中继日志，只有收到ACK后master才将commit OK结果反馈给客户端。
相关推荐
- 订单超时自动取消业务的 N 种实现方案，从原理到落地全解析
-
在分布式系统架构中，订单超时自动取消机制是保障业务一致性的关键组件。某电商平台曾因超时处理机制缺陷导致日均3000+订单库存锁定异常，直接损失超50万元/天。本文将从技术原理、实现细节、...
- 使用Spring Boot 3开发时，如何选择合适的分布式技术?
-
作为互联网大厂的后端开发人员，当你满怀期待地用上SpringBoot3，准备在项目中大显身手时，却发现一个棘手的问题摆在面前：面对众多分布式技术，究竟该如何选择，才能让SpringBoot...
- 数据库内存爆满怎么办?99%的程序员都踩过这个坑!
-
你的数据库是不是又双叒叕内存爆满了？！服务器监控一片红色警告，老板在群里@所有人，运维同事的电话打爆了手机...这种场景是不是特别熟悉？别慌！作为一个在数据库优化这条路上摸爬滚打了10年的老司机，今天...
- springboot利用Redisson 实现缓存与数据库双写不一致问题
-
使用了Redisson来操作Redis分布式锁，主要功能是从缓存和数据库中获取商品信息，以下是针对并发时更新缓存和数据库带来不一致问题的解决方案1.基于读写锁和删除缓存策略在并发更新场景下，...
- 外贸独立站数据库炸了?对象缓存让你起死回生
-
上周黑五，一个客户眼睁睁看着服务器CPU飙到100%——每次页面加载要查87次数据库。这让我想起2024年Pantheon的测试：Redis缓存能把WooCommerce查询速度提升20倍。跨境电商最...
- 手把手教你在 Spring Boot3 里纯编码实现自定义分布式锁
-
为什么要自己实现分布式锁？你是不是早就受够了引入各种第三方依赖时的繁琐？尤其是分布式锁这块，每次集成Redisson或者Zookeeper，都得额外维护一堆配置，有时候还会因为版本兼容问题头疼半...
- 如何设计一个支持百万级实时数据推送的WebSocket集群架构?
-
面试解答：要设计一个支持百万级实时数据推送的WebSocket集群架构，需从**连接管理、负载均衡、水平扩展、容灾恢复**四个维度切入：连接层设计-**长连接优化**：采用Netty或Und...
- Redis数据结构总结——面试最常问到的知识点
-
Redis作为主流的nosql存储，面试时经常会问到。其主要场景是用作缓存，分布式锁，分布式session，消息队列，发布订阅等等。其存储结构主要有String，List，Set，Hash，Sort...
- skynet服务的缺陷 lua死循环
-
服务端高级架构—云风的skynet这边有一个关于云风skynet的视频推荐给大家观看点击就可以观看了！skynet是一套多人在线游戏的轻量级服务端框架，使用C+Lua开发。skynet的显著优点是，...
- 七年Java开发的一路辛酸史:分享面试京东、阿里、美团后的心得
-
前言我觉得有一个能够找一份大厂的offer的想法，这是很正常的，这并不是我们的饭后谈资而是每个技术人的追求。像阿里、腾讯、美团、字节跳动、京东等等的技术氛围与技术规范度还是要明显优于一些创业型公司...
- mysql mogodb es redis数据库之间的区别
-
1.MySQL应用场景概念：关系型数据库,基于关系模型,使用表和行存储数据。优点：支持ACID事务,数据具有很高的一致性和完整性。缺点：垂直扩展能力有限,需要分库分表等方式扩展。对于复杂的查询和大量的...
- redis，memcached，nginx网络组件
-
1.理解阻塞io，非阻塞io，同步io，异步io的区别2.理解BIO和AIO的区别io多路复用只负责io检测，不负责io操作阻塞io中的write，能写多少是多少，只要写成功就返回，譬如准备写500字...
- SpringBoot+Vue+Redis实现验证码功能
-
一个小时只允许发三次验证码。一次验证码有效期二分钟。SpringBoot整合Redis...
- AWS MemoryDB 可观测最佳实践
-
AWSMemoryDB介绍AmazonMemoryDB是一种完全托管的、内存中数据存储服务，专为需要极低延迟和高吞吐量的应用程序而设计。它与Redis和Memcached相似，但具有更...
- 从0构建大型AI推荐系统:实时化引擎从工具到生态的演进
-
在AI浪潮席卷各行各业的今天，推荐系统正从幕后走向前台，成为用户体验的核心驱动力。本文将带你深入探索一个大型AI推荐系统从零起步的全过程，揭示实时化引擎如何从单一工具演进为复杂生态的关键路径。无论你是...
欢迎 你 发表评论:
- 一周热门
-
-
Redis客户端 Jedis 与 Lettuce
-
高并发架构系列:Redis并发竞争key的解决方案详解
-
redis如何防止并发（redis如何防止高并发）
-
Java SE Development Kit 8u441下载地址【windows版本】
-
开源推荐:如何实现的一个高性能 Redis 服务器
-
redis安装与调优部署文档(WinServer)
-
Redis 入门 - 安装最全讲解(Windows、Linux、Docker)
-
一文带你了解 Redis 的发布与订阅的底层原理
-
Redis如何应对并发访问（redis控制并发量）
-
Oracle如何创建用户，表空间（oracle19c创建表空间用户）
-
- 最近发表
- 标签列表
-
- oracle位图索引 (74)
- oracle批量插入数据 (65)
- oracle事务隔离级别 (59)
- oracle主从同步 (56)
- oracle 乐观锁 (53)
- redis 命令 (83)
- php redis (97)
- redis 存储 (67)
- redis 锁 (74)
- 启动 redis (73)
- redis 时间 (60)
- redis 删除 (69)
- redis内存 (64)
- redis并发 (53)
- redis 主从 (71)
- redis同步 (53)
- redis结构 (53)
- redis 订阅 (54)
- redis 登录 (62)
- redis 面试 (58)
- redis问题 (54)
- 阿里 redis (67)
- redis的缓存 (57)
- lua redis (59)
- redis 连接池 (64)