百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

Redis和MySQL如何保持数据一致性?

mhr18 2024-11-24 18:48 19 浏览 0 评论

背景

在高并发的场景下,大量的请求直接访问Mysql很容易造成性能问题。所以,我们都会用Redis来做数据的缓存,削减对数据库的请求。但是,Mysql和Redis是两种不同的数据库,如何保证不同数据库之间数据的一致性就非常关键了。

数据不一致的原因

导致数据不一致的原因

1、在高并发的业务场景下,数据库大多数情况都是用户并发访问最薄弱的环节。

2、所以,就需要使用redis做一个缓冲操作,让请求先访问到redis,而不是直接访问MySQL等数据库。

3、读取缓存步骤一般没有什么问题,但是一旦涉及到数据更新:数据库和缓存更新,就容易出现缓存(Redis)和数据库(MySQL)间的数据一致性问题。

4、这个业务场景,主要是解决读数据从Redis缓存,一般都是按照下图的流程来进行业务操作

缓存先后删除问题

不管是先写MySQL数据库,再删除Redis缓存;还是先删除缓存,再写库,都有可能出现数据不一致的情况。

先删除缓存

pan class="nolink">1、如果先删除Redis缓存数据,然而还没有来得及写入MySQL,另一个线程就来读取

pan class="nolink">2、这个时候发现缓存为空,则去Mysql数据库中读取旧数据写入缓存,此时缓存中为脏数据。

pan class="nolink">3、然后数据库更新后发现Redis和Mysql出现了数据不一致的问题

后删除缓存

1、如果先写了库,然后再删除缓存,不幸的写库的线程挂了,导致了缓存没有删除

2、这个时候就会直接读取旧缓存,最终也导致了数据不一致情况

3、因为写和读是并发的,没法保证顺序,就会出现缓存和数据库的数据不一致的问题

解决方案

延时双删策略

基本思路

在写库前后都进行redis.del(key)操作,并且设定合理的超时时间。

伪代码如下:

public void write( String key, Object data ){ redis.delKey( key ); db.updateData( data ); 
Thread.sleep( 500 ); redis.delKey( key );}

具体步骤

1、先删除缓存2、再写数据库3、休眠500毫秒4、再次删除缓存

问题:这个500毫秒怎么确定的,具体该休眠多久时间呢?

pan class="nolink">1、需要评估自己的项目的读数据业务逻辑的耗时。

pan class="nolink">2、这么做的目的,就是确保读请求结束,写请求可以删除读请求造成的缓存脏数据。

pan class="nolink">3、当然这种策略还要考虑redis和数据库主从同步的耗时。

pan class="nolink">4、最后的的写数据的休眠时间:则在读数据业务逻辑的耗时基础上,加几百ms即可。

比如:休眠1秒。

设置缓存过期时间是关键点


1、从理论上来说,给缓存设置过期时间,是保证最终一致性的解决方案

2、所有的写操作以数据库为准,只要到达缓存过期时间,缓存删除

3、如果后面还有读请求的话,就会从数据库中读取新值然后回填缓存

方案缺点


结合双删策略+缓存超时设置,这样最差的情况就是:

1、在缓存过期时间内发生数据存在不一致

2、同时又增加了写请求的耗时。

异步更新缓存(基于Mysql binlog的同步机制)

整体思路

1、涉及到更新的数据操作,利用Mysql binlog 进行增量订阅消费

2、将消息发送到消息队列

3、通过消息队列消费将增量数据更新到Redis上

4、.操作情况

读取Redis缓存:热数据都在Redis上写Mysql:增删改都是在Mysql进行操作更新Redis数据:Mysql的数据操作都记录到binlog,通过消息队列及时更新到Redis上

Redis更新过程

数据操作主要分为两种:

1、一种是全量(将所有数据一次性写入Redis)

2、一种是增量(实时更新)

这里说的是增量,指的是mysql的update、insert、delate变更数据。


读取binlog后分析 ,利用消息队列,推送更新各台的redis缓存数据。

pan class="nolink">1、这样一旦MySQL中产生了新的写入、更新、删除等操作,就可以把binlog相关的消息推送至Redis

pan class="nolink">2、Redis再根据binlog中的记录,对Redis进行更新

pan class="nolink">3、其实这种机制,很类似MySQL的主从备份机制,因为MySQL的主备也是通过binlog来实现的数据一致性

这里的消息推送工具你也可以采用别的第三方:kafka、rabbitMQ等来实现推送更新Redis!

总结

在高并发应用场景下,如果是对数据一致性要求高的情况下,要定位好导致数据和缓存不一致的原因。

解决高并发场景下数据一致性的方案有两种,分别是延时双删策略和异步更新缓存两种方案。

另外,设置缓存的过期时间是保证数据保持一致性的关键操作,需要结合业务进行合理的设置。

相关推荐

【推荐】一个开源免费、AI 驱动的智能数据管理系统,支持多数据库

如果您对源码&技术感兴趣,请点赞+收藏+转发+关注,大家的支持是我分享最大的动力!!!.前言在当今数据驱动的时代,高效、智能地管理数据已成为企业和个人不可或缺的能力。为了满足这一需求,我们推出了这款开...

Pure Storage推出统一数据管理云平台及新闪存阵列

PureStorage公司今日推出企业数据云(EnterpriseDataCloud),称其为组织在混合环境中存储、管理和使用数据方式的全面架构升级。该公司表示,EDC使组织能够在本地、云端和混...

对Java学习的10条建议(对java课程的建议)

不少Java的初学者一开始都是信心满满准备迎接挑战,但是经过一段时间的学习之后,多少都会碰到各种挫败,以下北风网就总结一些对于初学者非常有用的建议,希望能够给他们解决现实中的问题。Java编程的准备:...

SQLShift 重大更新:Oracle→PostgreSQL 存储过程转换功能上线!

官网:https://sqlshift.cn/6月,SQLShift迎来重大版本更新!作为国内首个支持Oracle->OceanBase存储过程智能转换的工具,SQLShift在过去一...

JDK21有没有什么稳定、简单又强势的特性?

佳未阿里云开发者2025年03月05日08:30浙江阿里妹导读这篇文章主要介绍了Java虚拟线程的发展及其在AJDK中的实现和优化。阅前声明:本文介绍的内容基于AJDK21.0.5[1]以及以上...

「松勤软件测试」网站总出现404 bug?总结8个原因,不信解决不了

在进行网站测试的时候,有没有碰到过网站崩溃,打不开,出现404错误等各种现象,如果你碰到了,那么恭喜你,你的网站出问题了,是什么原因导致网站出问题呢,根据松勤软件测试的总结如下:01数据库中的表空间不...

Java面试题及答案最全总结(2025版)

大家好,我是Java面试陪考员最近很多小伙伴在忙着找工作,给大家整理了一份非常全面的Java面试题及答案。涉及的内容非常全面,包含:Spring、MySQL、JVM、Redis、Linux、Sprin...

数据库日常运维工作内容(数据库日常运维 工作内容)

#数据库日常运维工作包括哪些内容?#数据库日常运维工作是一个涵盖多个层面的综合性任务,以下是详细的分类和内容说明:一、数据库运维核心工作监控与告警性能监控:实时监控CPU、内存、I/O、连接数、锁等待...

分布式之系统底层原理(上)(底层分布式技术)

作者:allanpan,腾讯IEG高级后台工程师导言分布式事务是分布式系统必不可少的组成部分,基本上只要实现一个分布式系统就逃不开对分布式事务的支持。本文从分布式事务这个概念切入,尝试对分布式事务...

oracle 死锁了怎么办?kill 进程 直接上干货

1、查看死锁是否存在selectusername,lockwait,status,machine,programfromv$sessionwheresidin(selectsession...

SpringBoot 各种分页查询方式详解(全网最全)

一、分页查询基础概念与原理1.1什么是分页查询分页查询是指将大量数据分割成多个小块(页)进行展示的技术,它是现代Web应用中必不可少的功能。想象一下你去图书馆找书,如果所有书都堆在一张桌子上,你很难...

《战场兄弟》全事件攻略 一般事件合同事件红装及隐藏职业攻略

《战场兄弟》全事件攻略,一般事件合同事件红装及隐藏职业攻略。《战场兄弟》事件奖励,事件条件。《战场兄弟》是OverhypeStudios制作发行的一款由xcom和桌游为灵感来源,以中世纪、低魔奇幻为...

LoadRunner(loadrunner录制不到脚本)

一、核心组件与工作流程LoadRunner性能测试工具-并发测试-正版软件下载-使用教程-价格-官方代理商的架构围绕三大核心组件构建,形成完整测试闭环:VirtualUserGenerator(...

Redis数据类型介绍(redis 数据类型)

介绍Redis支持五种数据类型:String(字符串),Hash(哈希),List(列表),Set(集合)及Zset(sortedset:有序集合)。1、字符串类型概述1.1、数据类型Redis支持...

RMAN备份监控及优化总结(rman备份原理)

今天主要介绍一下如何对RMAN备份监控及优化,这里就不讲rman备份的一些原理了,仅供参考。一、监控RMAN备份1、确定备份源与备份设备的最大速度从磁盘读的速度和磁带写的带度、备份的速度不可能超出这两...

取消回复欢迎 发表评论: