百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

如何解决高并发下的redis热点key问题?

mhr18 2024-10-25 12:39 57 浏览 0 评论

redis现在已经成为大家软件开发过程中必不可少的缓存中间件了,合理的使用redis,可以使我们的线上服务在应对高并发时候变的游刃有余,极大的减轻了数据库服务的压力。

您可以通过本文了解redis热点key问题。

今天给大家带来的是如何解决高并发访问下的redis热key问题以及相关解决方案。主要内容有如下几个部分:

  • 什么是redis的热点key问题?
  • 什么是缓存穿透?
  • 什么是缓存雪崩?
  • 如何快速的发现热点key?
  • 业内解决缓存热key的一些方案(有赞技术方案阿里云Redis最佳实践
  • 设计一个实时发现并解决热点key的技术方案?

什么是redis 的热key问题?

在突发情况下、短时间内出现大量请求同时访问redis的某些特定的key

大量的访问请求瞬时怼到指定的一台或多台(主从节点的情况下)redis服务器上,占据大量带宽的同时,也给redis服务器带来了较大的压力。严重的情况下,redis服务器可能会无法承受访问请求压力导致缓存服务器响应缓慢甚至宕机。这时候所有的请求都会直接去访问数据库,缓存服务器都无法承受住请求压力,数据库可想而知,导致线上数据库无法响应而宕机,最终所有服务都无法响应,产生严重的线上事故。

常见的容易产生热点key的有以下场景:

  • 商品秒杀:同一个商品短时间内产生大量请求,产生商品详情、库存、下单链路等热点缓存
  • 微博明星、大V宣布恋情(例如鹿晗宣布与关晓彤的恋情搞挂微博)
  • 热点新闻、热点评论等

什么是缓存穿透?

上面的代码给大家展示了一个典型的缓存穿透的例子,简单流程示意图如下:

当这条数据不存在的时候,我们始终都无法从缓存中获取到这条数据,这个时候就会再次请求数据库。当这个漏洞被不法分子利用,大量请求这条数据的时候,就会直接查询到数据库。这就是所谓的“缓存穿透”。

缓存穿透并不复杂,最简单的解决方案就是即使数据库查询到的数据为null时候也写缓存。但是把缓存的过期时间设置短一点,比如1分钟,过期了再走一遍数据库查询数据是否存在,这样既可很好的避免缓存穿透的问题。

什么是缓存雪崩?

缓存雪崩指的是在某一时间段,缓存中大量的key集中过期失效。

例如线上所有的商品详情都存在redis中,且设置为一个小时过期。这样当过了一个小时之后,所有的商品详情缓存数据都集中过期,线上所有请求商品详情的业务都会去请求数据库,数据库将会承受较大的压力,且周期出现。

知道问题的现象和产生的原因后,怎么解决也就容易多了,制定一定的策略,保证redis中的key不要在同一个时间点集中失效,将所有要过期的key分散到各个时间点逐步的过期即可。

如何快速的发现热点key

了解了上面的热点key问题缓存穿透缓存雪崩,我们再一起来看看如何发现热点key。如果我们无法及时的发现热点key,就无法及时的处理热点key可能造成的问题,及时监控并处理,防患于未然才能让线上的服务长治久安。

发现热key的方式可以有如下几种:

  1. 业务明确的情况下,可以评估出是否存在热点key,上线前即可准备好相关处理方案;
  2. redis自带的monitor命令可以实时抓取到redis服务器接收到的命令,但是该命令对redis的性能有一定的影响,要知道redis可是单线程的。高并发情况下不可取;
  3. 收集redis key访问日志,实时计算出热点key排名

业内解决缓存热key的一些方案

那么发现了热点key如何解决呢?

有赞TMC方案

这里推荐大家看一下有赞技术团队的TMC方案《有赞透明多级缓存解决方案(TMC)》,不仅提供了发现热点key的方法并提供了系统的解决方案。

基本架构设计思想如下(文末会提供参考文章链接):

阿里云redis最佳实践

现在中小企业都上云了,阿里云的redis相信大家一定不陌生,针对redis热点key问题的发现与解决,在redis最佳实践文档中也做了详细的说明,大家也可以详细了解一下阿里云redis的设计思路。

设计一个实时发现并解决热点key的技术方案

如果让我们自己来设计这样的一个服务,如何来设计呢?这里提出问题,欢迎各位技术大佬“八仙过海,各显神通”。

  1. 这个系统应该具有哪些功能?
  2. 有什么样的挑战?
  3. 如何做到高可用?
  4. 采用什么样的技术或算法?

欢迎评论区留言讨论~

我是【Java架构设计】,您的点赞评论是我最大的动力!关注我,持续为您分享技术干货!

参考文章:

《有赞透明多级缓存解决方案(TMC)》

链接:https://segmentfault.com/a/1190000017142556#articleHeader4

《阿里云redis最佳实践-热点key问题的发现与解决》

链接:https://help.aliyun.com/document_detail/67252.html#title-rpb-0kp-un1

相关推荐

订单超时自动取消业务的 N 种实现方案,从原理到落地全解析

在分布式系统架构中,订单超时自动取消机制是保障业务一致性的关键组件。某电商平台曾因超时处理机制缺陷导致日均3000+订单库存锁定异常,直接损失超50万元/天。本文将从技术原理、实现细节、...

使用Spring Boot 3开发时,如何选择合适的分布式技术?

作为互联网大厂的后端开发人员,当你满怀期待地用上SpringBoot3,准备在项目中大显身手时,却发现一个棘手的问题摆在面前:面对众多分布式技术,究竟该如何选择,才能让SpringBoot...

数据库内存爆满怎么办?99%的程序员都踩过这个坑!

你的数据库是不是又双叒叕内存爆满了?!服务器监控一片红色警告,老板在群里@所有人,运维同事的电话打爆了手机...这种场景是不是特别熟悉?别慌!作为一个在数据库优化这条路上摸爬滚打了10年的老司机,今天...

springboot利用Redisson 实现缓存与数据库双写不一致问题

使用了Redisson来操作Redis分布式锁,主要功能是从缓存和数据库中获取商品信息,以下是针对并发时更新缓存和数据库带来不一致问题的解决方案1.基于读写锁和删除缓存策略在并发更新场景下,...

外贸独立站数据库炸了?对象缓存让你起死回生

上周黑五,一个客户眼睁睁看着服务器CPU飙到100%——每次页面加载要查87次数据库。这让我想起2024年Pantheon的测试:Redis缓存能把WooCommerce查询速度提升20倍。跨境电商最...

手把手教你在 Spring Boot3 里纯编码实现自定义分布式锁

为什么要自己实现分布式锁?你是不是早就受够了引入各种第三方依赖时的繁琐?尤其是分布式锁这块,每次集成Redisson或者Zookeeper,都得额外维护一堆配置,有时候还会因为版本兼容问题头疼半...

如何设计一个支持百万级实时数据推送的WebSocket集群架构?

面试解答:要设计一个支持百万级实时数据推送的WebSocket集群架构,需从**连接管理、负载均衡、水平扩展、容灾恢复**四个维度切入:连接层设计-**长连接优化**:采用Netty或Und...

Redis数据结构总结——面试最常问到的知识点

Redis作为主流的nosql存储,面试时经常会问到。其主要场景是用作缓存,分布式锁,分布式session,消息队列,发布订阅等等。其存储结构主要有String,List,Set,Hash,Sort...

skynet服务的缺陷 lua死循环

服务端高级架构—云风的skynet这边有一个关于云风skynet的视频推荐给大家观看点击就可以观看了!skynet是一套多人在线游戏的轻量级服务端框架,使用C+Lua开发。skynet的显著优点是,...

七年Java开发的一路辛酸史:分享面试京东、阿里、美团后的心得

前言我觉得有一个能够找一份大厂的offer的想法,这是很正常的,这并不是我们的饭后谈资而是每个技术人的追求。像阿里、腾讯、美团、字节跳动、京东等等的技术氛围与技术规范度还是要明显优于一些创业型公司...

mysql mogodb es redis数据库之间的区别

1.MySQL应用场景概念:关系型数据库,基于关系模型,使用表和行存储数据。优点:支持ACID事务,数据具有很高的一致性和完整性。缺点:垂直扩展能力有限,需要分库分表等方式扩展。对于复杂的查询和大量的...

redis,memcached,nginx网络组件

1.理解阻塞io,非阻塞io,同步io,异步io的区别2.理解BIO和AIO的区别io多路复用只负责io检测,不负责io操作阻塞io中的write,能写多少是多少,只要写成功就返回,譬如准备写500字...

SpringBoot+Vue+Redis实现验证码功能

一个小时只允许发三次验证码。一次验证码有效期二分钟。SpringBoot整合Redis...

AWS MemoryDB 可观测最佳实践

AWSMemoryDB介绍AmazonMemoryDB是一种完全托管的、内存中数据存储服务,专为需要极低延迟和高吞吐量的应用程序而设计。它与Redis和Memcached相似,但具有更...

从0构建大型AI推荐系统:实时化引擎从工具到生态的演进

在AI浪潮席卷各行各业的今天,推荐系统正从幕后走向前台,成为用户体验的核心驱动力。本文将带你深入探索一个大型AI推荐系统从零起步的全过程,揭示实时化引擎如何从单一工具演进为复杂生态的关键路径。无论你是...

取消回复欢迎 发表评论: