如何发现并解决redis的热点key问题?| 高并发必知必会
mhr18 2024-11-01 12:17 27 浏览 0 评论
redis现在已经成为大家软件开发过程中必不可少的缓存中间件了,合理的使用redis,可以使我们的线上服务在应对高并发时候变的游刃有余,极大的减轻了数据库服务的压力。
您可以通过本文了解redis热点key问题。
今天给大家带来的是如何解决高并发访问下的redis热key问题以及相关解决方案。主要内容有如下几个部分:
- 什么是redis的热点key问题?
- 什么是缓存穿透?
- 什么是缓存雪崩?
- 如何快速的发现热点key?
- 业内解决缓存热key的一些方案(有赞技术方案、阿里云Redis最佳实践)
- 设计一个实时发现并解决热点key的技术方案?
什么是redis 的热key问题?
在突发情况下、短时间内出现大量请求同时访问redis的某些特定的key。
大量的访问请求瞬时怼到指定的一台或多台(主从节点的情况下)redis服务器上,占据大量带宽的同时,也给redis服务器带来了较大的压力。严重的情况下,redis服务器可能会无法承受访问请求压力导致缓存服务器响应缓慢甚至宕机。这时候所有的请求都会直接去访问数据库,缓存服务器都无法承受住请求压力,数据库可想而知,导致线上数据库无法响应而宕机,最终所有服务都无法响应,产生严重的线上事故。
常见的容易产生热点key的有以下场景:
- 商品秒杀:同一个商品短时间内产生大量请求,产生商品详情、库存、下单链路等热点缓存
- 微博明星、大V宣布恋情(例如鹿晗宣布与关晓彤的恋情搞挂微博)
- 热点新闻、热点评论等
什么是缓存穿透?
上面的代码给大家展示了一个典型的缓存穿透的例子,简单流程示意图如下:
当这条数据不存在的时候,我们始终都无法从缓存中获取到这条数据,这个时候就会再次请求数据库。当这个漏洞被不法分子利用,大量请求这条数据的时候,就会直接查询到数据库。这就是所谓的“缓存穿透”。
缓存穿透并不复杂,最简单的解决方案就是即使数据库查询到的数据为null时候也写缓存。但是把缓存的过期时间设置短一点,比如1分钟,过期了再走一遍数据库查询数据是否存在,这样既可很好的避免缓存穿透的问题。
什么是缓存雪崩?
缓存雪崩指的是在某一时间段,缓存中大量的key集中过期失效。
例如线上所有的商品详情都存在redis中,且设置为一个小时过期。这样当过了一个小时之后,所有的商品详情缓存数据都集中过期,线上所有请求商品详情的业务都会去请求数据库,数据库将会承受较大的压力,且周期出现。
知道问题的现象和产生的原因后,怎么解决也就容易多了,制定一定的策略,保证redis中的key不要在同一个时间点集中失效,将所有要过期的key分散到各个时间点逐步的过期即可。
如何快速的发现热点key
了解了上面的热点key问题、缓存穿透、缓存雪崩,我们再一起来看看如何发现热点key。如果我们无法及时的发现热点key,就无法及时的处理热点key可能造成的问题,及时监控并处理,防患于未然才能让线上的服务长治久安。
发现热key的方式可以有如下几种:
- 业务明确的情况下,可以评估出是否存在热点key,上线前即可准备好相关处理方案;
- redis自带的monitor命令可以实时抓取到redis服务器接收到的命令,但是该命令对redis的性能有一定的影响,要知道redis可是单线程的。高并发情况下不可取;
- 收集redis key访问日志,实时计算出热点key排名
业内解决缓存热key的一些方案
那么发现了热点key如何解决呢?
有赞TMC方案
这里推荐大家看一下有赞技术团队的TMC方案《有赞透明多级缓存解决方案(TMC)》,不仅提供了发现热点key的方法并提供了系统的解决方案。
基本架构设计思想如下(文末会提供参考文章链接):
阿里云redis最佳实践
现在中小企业都上云了,阿里云的redis相信大家一定不陌生,针对redis热点key问题的发现与解决,在redis最佳实践文档中也做了详细的说明,大家也可以详细了解一下阿里云redis的设计思路。
设计一个实时发现并解决热点key的技术方案
如果让我们自己来设计这样的一个服务,如何来设计呢?这里提出问题,欢迎各位技术大佬“八仙过海,各显神通”。
- 这个系统应该具有哪些功能?
- 有什么样的挑战?
- 如何做到高可用?
- 采用什么样的技术或算法?
欢迎评论区留言讨论~
我是【Java架构设计】,您的点赞评论是我最大的动力!关注我,持续为您分享技术干货!
参考文章:
《有赞透明多级缓存解决方案(TMC)》
链接:https://segmentfault.com/a/1190000017142556#articleHeader4
《阿里云redis最佳实践-热点key问题的发现与解决》
链接:https://help.aliyun.com/document_detail/67252.html#title-rpb-0kp-un1
相关推荐
- 几种 TCP 连接中出现 RST 的情况
-
现在是一个网络时代了。应该不少程序员在编程中需要考虑多机、局域网、广域网的各种问题。所以网络知识也是避免不了学习的。而且笔者一直觉得TCP/IP网络知识在一个程序员知识体系中必需占有一席之地的。在...
- Redis连接使用报RDB error错误
-
该错误信息:Errorinexecution;nestedexceptionisio.lettuce.core.RedisCommandExecutionException:MISC...
- lua 语法介绍与 NGINX lua 高级用法实战操作
-
一、概述lua是一种轻量小巧的脚本语言,用标准C语言编写并以源代码形式开放,其设计目的是为了嵌入应用程序中,从而为应用程序提供灵活的扩展和定制功能。官网:https://www.lua.org/二、l...
- Python教程——20.协程 - 2
-
异步编程asyncio.Future对象Task继承Future,Task对象内部中的await结果的处理基于Future对象来的在Future对象中会保存当前执行的这个协程任务的状态,如果当...
- “我的足迹”、“浏览历史”,Redis如何快速记录与展示?
-
咱们在网上“买买买”、“逛逛逛”的时候,总会留下各种各样的“足迹”。无论是电商APP里你最近浏览过的商品,视频网站上你刚刚看过的剧集,还是新闻客户端里你点开过的文章……这些“历史记录”,有时候还真挺有...
- 你手机上的“消息推送”,Redis可能参与其中
-
手机上那些时不时就“叮咚”一下的消息推送,确实是咱们数字生活里不可或缺的一部分。这篇咱们就来聊聊,Redis这位“消息灵通人士”,是如何在这场“信息接力赛”中大显身手,确保那些重要的、有趣的通知,能够...
- 短视频APP的“附近的人”,Redis如何快速匹配?
-
刷短视频,除了看各种搞笑段子、才艺展示,有时候是不是也想看看“同城”或者“附近”的人都在发些啥有意思的内容?或者,平台也会时不时地给你推荐一些“附近正在直播”的主播,让你感觉一下子拉近了和这个虚拟世界...
- 微信朋友圈的点赞、评论,Redis在背后默默付出
-
微信朋友圈,这片小小的“自留地”,承载了我们多少喜怒哀乐、生活点滴啊!一张精心修饰的照片,一段随感而发的文字,发出去之后,最期待的是什么?那必须是屏幕下方不断冒出来的小红心和一条条真诚(或者商业互吹)...
- 网站登录老是掉线?Redis帮你记住你是谁!
-
有没有过这样的糟心体验?你好不容易登录了一个网站,刚看了两篇帖子,或者购物车里刚加了几件宝贝,结果一刷新页面,或者稍微离开了一会儿,回来就发现——“哎?我怎么又退出了?!”又得重新输入用户名、密码、...
- 你常用的APP,哪些地方可能用到了Redis?(猜想与分析)
-
咱们现在的生活,简直是离不开各种各样的手机APP了!从早上睁眼刷新闻,到中午点外卖,再到晚上刷短视频、玩游戏,一天到头,指尖在屏幕上就没停过。这些APP为了让我们用得爽、用得顺心,背后可是使出了浑身解...
- Redis是啥?为啥程序员天天挂嘴边?小白也能看懂!
-
这Redis到底是何方神圣?为啥那些天天在电脑前敲代码的程序员小哥哥小姐姐们,老是把它挂在嘴边,好像离了它地球都不转了似的?别担心,咱们今天不说那些听了就头大的代码和术语,就用大白话,保证你听完一拍大...
- 面试官:请你说说Redis为什么这么快?
-
1)Redis是基于内存的存储数据库,绝大部分的命令处理只是纯粹的内存操作,内存的读写速度非常快。2)Redis是单进程线程的服务(实际上一个正在运行的RedisServer肯定不止一个线程,但只有...
- 有了强大的关系型数据库,为什么还需要Redis?
-
在数字世界的浩瀚海洋中,关系型数据库,例如我们熟知的MySQL、PostgreSQL或Oracle,无疑是那些承载着核心业务数据、坚如磐石的“国家图书馆”或“银行金库”。它们以严谨的结构、强大的事务处...
- Java 中间件数据可靠性串讲:从 MQ 、MySQL、Redis 不丢失的保障之道
-
引言在现代分布式系统中,中间件扮演着至关重要的角色,它们是构建高可用、高性能、高可扩展应用架构的基石。消息队列(MQ)、数据库(如MySQL)、缓存(如Redis)等是其中最具代表性的组件。然而,...
- 运维部署方式之——虚机部署
-
标准化使用作業系统:LinuxCentOS7自动化方式通过Ansible系统初始化playbook来管理。目的系统初始化工作是一个简单、繁复的工作,从云网得到的虚拟主机只是一个基础的系统环境,...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- oracle位图索引 (63)
- oracle批量插入数据 (62)
- oracle事务隔离级别 (53)
- oracle 空为0 (50)
- oracle主从同步 (55)
- oracle 乐观锁 (51)
- redis 命令 (78)
- php redis (88)
- redis 存储 (66)
- redis 锁 (69)
- 启动 redis (66)
- redis 时间 (56)
- redis 删除 (67)
- redis内存 (57)
- redis并发 (52)
- redis 主从 (69)
- redis 订阅 (51)
- redis 登录 (54)
- redis 面试 (58)
- 阿里 redis (59)
- redis 搭建 (53)
- redis的缓存 (55)
- lua redis (58)
- redis 连接池 (61)
- redis 限流 (51)