大厂面试必问:Redis夺命11连问(建议收藏)
mhr18 2024-11-26 12:00 19 浏览 0 评论
金三银四跳槽季已经过去,还是有好多小伙伴没有找到心仪的工作。今天我来助力一把,送出这套redis面试题,助力大家通关。
1 redis为什么响应快
1.1数据保存在内存中
redis数据保存在内存中,读写操作只要访问内存,不需要磁盘IO。
1.2.底层数据结构
- redis的数据以key:value的格式存储在散列表中,时间复杂度o(1)。
- redis为value定义了丰富的数据结构,包括动态字符串、双向链表、压缩列表、hash、跳表和整数数组,可以根据value的特性选择选择最高效的数据结构。
1.3.单线程模型
redis的网络IO和数据读写使用单线程模型,可以绑定CPU,这避免了线程上下文切换带来的开销。
「注意:redis6.0对网络请求引入了多线程模型,读写操作还是用单线程。」
redis多线程网络模型见下图:
1.4.IO多路复用
redis采用epoll网络模型,如下图:
内核会一直监听新的socket连接事件的和已建立socket连接的读写事件,把监听到的事件放到事件队列,redis使用单线程不停的处理这个事件队列。这避免了阻塞等待连接和读写事件到来。
这些事件绑定了回调函数,会调用redis的处理函数进行处理。
2 redis底层数据结构
redis有5种数据类型,包括「字符串、列表、集合、有序集合和字典」。
redis底层的数据结构有6种,包括「动态字符串、双向链表、压缩列表(ziplist)、hash表、跳表(skip list)和整数数组」。
redis数据类型和底层数据结构有如下对应关系:
2.1.字符串类型
底层数据结构是动态字符串。
2.2.列表
如果同时满足下面条件,就使用压缩列表,否则使用双向链表。
- 列表中单个元素小于64字节
- 列表中元素个数少于 512
「压缩列表」在内存中是一块儿连续的内存空间,结构如下:
「压缩列表查找时间复杂度是o(n)」
2.3.集合
如果同时满足下面条件,就使用有序整数数组,否则使用hash表。
- 集合中元素都是整数类型
- 集合中元素个数不超过512个
2.4.有序集合
如果同时满足下面2个条件,就使用压缩列表,否则使用跳表。
- 集合中元素都小于64字节
- 集合中元素个数小于128个
「注意:有序集合还有一个HASH表用于保存集合中元素的分数,做ZSCORE操作时,查询的就是这个HASH表,所以效率很高。」
「跳表」的结构如下:
如果不加索引,查找10这个数字需要查询10次,使用了二级索引,查找10这个数字需要5次,而使用一级索引,需要查询3次。
?
跳表的每一层都是一个有序链表,最下面一层保存了全部数据。跳表插入、删除、查询的时间复杂度是o(logN)。跳表需要存储额外的索引节点,会增加额外的空间开销。
?
2.5.字典
如果同时满足下面2个条件,就使用压缩列表,否则使用hash表。
- 字典中每个entry的key/value都小于64字节
- 字典中元素个数小于512个
3 redis缓存淘汰策略
redis总共有8种淘汰策略,如下图:
volatile-lfu和allkeys-lfu策略是4.0版本新增的。
- 「lru」是按照数据的最近最少访问原则来淘汰数据,可能存在的问题是如果大批量冷数据最近被访问了一次,就会占用大量内存空间,如果缓存满了,部分热数据就会被淘汰掉。
- 「lfu」是按照数据的最小访问频率访问次数原则来淘汰数据,如果两个数据的访问次数相同,则把访问时间较早的数据淘汰。
4 redis数据持久化
redis持久化的方式有2种,一种是写后日志(AOF),一种是内存快照(RDB)。
4.1.AOF日志
AOF日志记录了每一条收到的命令,redis故障宕机恢复时,可以加载AOF日志中的命令进行重放来进行故障恢复。AOF有3种同步策略,如下图:
?
如果不是对丢失数据特别敏感的业务,推荐使用everysec,对主线程的阻塞少,故障后丢失数据只有1s。
?
4.2.RDB快照
RDB快照是一个内存快照,记录了redis某一时刻的全部数据。
4.3.混合日志
从redis4.0开始,AOF文件也可以保存RDB快照,AOF重写的时候redis会把AOF文件内容清空,先记录一份RDB快照,这份数据以"REDIS"开头。记录RDB内容后,AOF文件会接着记录AOF命令。故障恢复时,先加载AOF文件中RDB快照,然后回放AOF文件中后面的命令。
4.4.主从同步
redis主从同步时,主节点会先生成一份RDB快照发送给从节点,把快照之后的命令写入主从同步缓存区(replication buffer),从节点把RDB文件加载完成后,主节点把缓存区命令发送给从节点。
4.5.AOF重写
AOF日志是用记录命令的方式追加的,这样可能存在对同一个key的多条命令,这些命令是可以合并成1条的。比如对同一个key的多个set操作日志,可以合成一条。
4.6.阻塞点
AOF重写和RDB快照执行的过程中,redis都会fork一个子进程来执行操作,子进程执行过程中是不是阻塞主线程的。
「但是要注意2点:」
- fork子进程的过程中,redis主线程会拷贝一份内存页表(记录了虚拟内存和物理内存的映射关系)给子进程,这个过程是阻塞的,redis主线程内存越大,阻塞时间越长;
- 子进程和redis主线程共用一块儿物理内存,如果新的请求到来,必须使用copy on write的方式,拷贝要修改的数据页到新的内存空间进行修改。如下图:
?
注意:如果开启了内存大页,每次拷贝都需要分配2MB的内存。
?
5 redis高可用
下图是一个「一主二从三哨兵」的架构图:
从图我们可以看到哨兵之间、哨兵和主从节点之间、哨兵和客户端之间都建立了连接。
如果主节点挂了,哨兵集群需要完成主从切换,如下图:
下面我们依次来聊一下这4个步骤「5.1~5.4」。
5.1.判断主节点下线
当一个哨兵监控到主节点下线时,就会给其他哨兵发送确认命令,其他命令会根据自己的判断回复"Y"或"N"。
如果有n/2 + 1以上数量的哨兵都认为主节点下线了,才会判定主节点下线。这里的n是哨兵集群的数量。
?
n/2 + 1这个参数由quorum参数配置,比如有5个哨兵,这里一般配置成3。也可以配置成其他值。
?
5.2.选举新主节点
主节点被判定下线后,哨兵集群会重新选择新的主节点。
5.2.1 淘汰不稳定从节点
根据配置参数down-after-milliseconds * 10来淘汰。
「down-after-milliseconds」表示主从节点断开时间,10表示次数,如果从节点跟主节点断开时间超过down-after-milliseconds的次数达到了10次以上,从节点就被淘汰了。
5.2.2 slave-priority参数
「slave-priority」参数配置了从节点的优先级,选择从节点时哨兵会优先选择优先级高的从节点。
5.2.3 复制进度
redis有一个记录主从增量复制的缓存区叫repl_backlog_buffer,这是一个环形结构的缓冲区,如下图:
主节点有一个写偏移量master_repl_offset,从节点也有一个偏移量slave_repl_offset。优先选择slave_repl_offset最接近master_repl_offset的从节点作为新的主节点。
所以,上图中偏移量为114的从节点优先被选为新的主节点。
5.2.4 ID编号
优先级和参数都一样的情况下,ID编号小的从节点优先被选为新主节点。
5.3.选举哨兵leader
第一个判断主节点下线的哨兵节点收到其他节点的回复并确定主节点下线后,就会给其他哨兵发送命令申请成为哨兵leader。
「成为leader的条件如下:」
- 收到赞成票必须大于等quorum值
- 必须拿到半数以上的赞成票
?
如果集群配置了5个哨兵,quorum的值设置为3,其中一个哨兵节点挂了,很有可能会判断到主节点下线,但是因为选举不出哨兵leader而不能切换。如果集群有2个哨兵,其中一个挂了,那必定选不出哨兵leader。
?
下面的图展示了哨兵一成功当选leader的过程:
5.4.主节点切换
选出新主节点和哨兵leader后,哨兵leader会执行主从切换的操作。完成后会做一些「事件通知」:
- 通知其他哨兵新主节点地址
- 通知所有从节点新的主节点地址,从节点收到后向新主节点请求主从同步
- 通知客户端连接新主节点
5.5.主从切换过程中请求处理
如果客户端的读请求会发送到从节点,可以正常处理。
在客户端收到新主节点地址通知前写请求会失败。
客户端可以采取一些应急措施应对主节点下线,比如缓存写请求。
为了能够及时获取到新主节点信息,客户端可以订阅哨兵的主节点下线事件和新主节点变更事件。
6 redis为什么变慢了
redis变慢了的原因有很多,总结一下有11个,见下图:
从图中看出,redis变慢原因主要有两类:「阻塞主线程和操作系统限制」。
6.1主线程阻塞
6.1.1.AOF重写和RDB快照
前面已经讲过了,redis在AOF重写时,主线程会fork出一个bgrewriteaof子进程。
redis进行RDB快照时主线程会fork出一个bgsave子进程。
这两个操作表面上看不阻塞主线程,但fork子进程的这个过程是在主线程完成的。fork子进程时redis需要拷贝内存页表,如果redis实例很大,这个拷贝会耗费大量的CPU资源,阻塞主线程的时间也会变长。
6.1.2.内存大页
redis默认支持内存大页是2MB,使用内存大页,一定程度上可以减少redis的内存分配次数,但是对数据持久化会有一定影响。
redis在AOF重写和RDB快照过程中,如果主线程收到新的写请求,就需要CopyOnWrite。使用了内存大页,即使redis只修改其中一个大小是1kb的key,也需要拷贝一整页的数据,即2MB。在写入量较多时,大量拷贝就会导致redis性能下降。
6.1.3.命令复杂度高
执行复杂度高的命令是造成redis阻塞的常见原因。比如对一个set或者list数据类型执行SORT操作,复杂度是O(N+M*log(M))。
6.1.4.bigkey操作
如果一个key的value非常大,创建的时候分配内存会很耗时,删除的时候释放内存也很耗时。
redis4.0以后引入了layfree机制,可以使用子进程异步删除,从而不影响主线程执行。用UNLINK命令替代DEL命令,就可以使用子进程异步删除。
redis6.0增加了配置项lazyfree-lazy-user-del,配置成yes后,del命令也可以用子进程异步删除。
?
如果lazyfree-lazy-user-del不设置为yes,那redis是否采用异步删除,是要看删除的时机的。对于String类型和底层采用整数数组和压缩列表的数据类型,redis是不会采用异步删除的。
?
6.1.5.从节点全量同步
从节点全量同步过程中,需要先清除内存中的数据,然后再加载RDB文件,这个过程中是阻塞的,如果有读请求到来,只能等到加载RDB文件完成后才能处理请求,所以响应会很慢。
另外,如果redis实例很大,也会造成RDB文件太大,从库加载时间长。所以尽量保持redis实例不要太大,比如单个实例限制4G,如果超出就采用切片集群。
6.1.6.AOF同步写盘
appendfsync策略有3种:always、everysec、no,如果采用always,每个命令都会同步写盘,这个过程是阻塞的,等写盘成功后才能处理下一条命令。
除非是严格不能丢数据的场景,否则尽量不要选择always策略,推荐尽量选择everysec策略,如果对丢失数据不敏感,可以采用no。
6.1.7.内存达到maxmemory
内存达到maxmemory,需要使用淘汰策略来淘汰部分key。即使采用lazyfree异步删除,选择key的过程也是阻塞的。
?
可以选择较快的淘汰策略,比如用随机淘汰来替换LRU和LFU算法淘汰。也可以扩大切片数量来减轻淘汰key的时间消耗。
?
6.2操作系统限制
6.2.1.使用了swap
使用swap的原因是操作系统不能给redis分配足够大的内存,如果操作其他开启了swap,内存数据就需要不停地跟swap换入和换出,对性能影响非常大。
操作系统没有能力分配内存的原因也可能是其他进程使用了大量的内存。
6.2.2.网络问题
如果网卡负载很大,对redis性能影响会很大。这一方面有可能redis的访问量确实很高,另一方面也可能是有其他流量大的程序占用了带宽。
这个最好从运维层面进行监控。
6.2.3.线程上下文切换
redis虽然是单线程的,但是在多核cpu的情况下,也可能会发生上下文切换。如果主线程从一个物理核切换到了另一个物理核,那就不能使用CPU高效的一级缓存和二级缓存了。如下图所示:
为防止这种情况,可以把redis绑定到一个CPU物理核。
6.2.4.磁盘性能低
对于AOF同步写盘的使用场景,如果磁盘性能低,也会影响redis的响应。可以优先采用性能更好的SSD硬盘。
7 设计排行榜功能
redis的zset类型保存了分数值,可以方便的实现排行榜的功能。
比如要统计10篇文章的排行榜,可以先建立一个存放10篇文章的zset,每当有读者阅读一篇文章时,就用ZINCRBY命令给这篇文章的分数加1,最后可以用range命令统计排行榜前几位的文章。
8 redis实现分布式锁
8.1.redis单节点的分布式锁
如下图,一个服务部署了2个客户端,获取分布式锁时一个成功,另一个就失败了。
redis一般使用setnx实现分布式锁,命令如下:
SETNX KEY_NAME VALUE
设置成功返回 1,设置失败返回 0。
使用单节点分布式锁存在一些问题。
8.1.1.客户端1获取锁后发生了故障
结果锁就不能释放了,其他客户端永远获取不到锁。解决方法是用下面命令对key设置过期时间:
SET key value [EX seconds] [PX milliseconds] NX
8.1.2 客户端2误删除了锁
解决方法是对key设置value时加入一个客户端表示,比如在客户端1设置key时在value前拼接一个字符串application1,删除的时候做一下判断。
8.2.redis红锁
redis单节点会有可靠性问题,节点故障后锁操作就会失败。redis为了应对单点故障的问题,设计了多节点的分布式锁,也叫红锁。主要思想是客户端跟多个redis实例请求加锁,只有超过半数的实例加锁成功,才认为成功获取了分布式锁。
如下图,客户端分别跟3个实例请求加锁,有2个实例加锁成功,所以获取分布式锁成功:
9 缓存雪崩、击穿、穿透
9.1.缓存雪崩
redis做缓存时,如果同一时间大量缓存数据失效,客户端请求会大量发送到数据库,导致数据库压力激增。如下图:
「应对方法主要有3个:」
- 给key设置过期时间时加一个小的随机数
- 限流
- 服务降级
9.2.缓存击穿
某个热点key,突然过期了,大量请求发送到了数据库。解决方案是给热点key不设置过期时间。
9.3.缓存穿透
某个热点key,查询缓存和查询数据库都没有,就发生了缓存穿透。如下图:
「应对方法主要有2个:」
- 缓存热点的空值和缺省值
- 查询数据库之前先查询布隆过滤器
10 数据倾斜
什么是数据倾斜?看下面这个面试题:
?
如果redis有一个热点key,qps能达到100w,该如何存储?
?
如果这个热点key被放到一个redis实例上,这个实例面临的访问压力会非常大。如下图,redis3这个实例保存了foo这个热点key,访问压力会很大:
「解决方法主要有两个:」
1.使用客户端本地缓存来缓存key,这样改造会有两个问题:
- 客户端缓存的热点key可能消耗大量内存
- 客户端需要保证本地缓存和redis缓存的一致性
2.给热点key加一个随机前缀,让它保存到不同的redis实例上,这样也会存在两个问题:
- 客户端在访问的时候需要给这个key加前缀
- 客户端在删除的时候需要根据所有前缀来删除不同实例上保存的这个key
11 bitmap使用
?
有一道经典的面试题,10亿整数怎么在内存中去重排序?
?
我们先算一下10亿整数占的内存,java一个整数类型占四字节,占用内存大小约
10亿 * 4 / 1024 / 1024 = 3.7G
占得内存太大了,如果内存不够,怎么办呢?
11.1.bitmap介绍
bitmap类型使用的数据结构是String,底层存储格式是二进制的bit数组。假如我们有1、4、6、9四个数,保存在bit数组中如下图:
在这个bit数组中用10个bit的空间保存了四个整数,占用空间非常小。
再回到面试题,我们使用bit数组长度是10亿整数中 「(最大值 - 最小值 + 1)」。
?
如果有负数,需要进行一个转化,所有数字加最小负数的绝对值。比如{-2, 0, 1, 3},我们转换成{0, 2, 3, 5},因为数组下标必须从0开始
?
11.2.使用场景
11.2.1.员工打卡记录
在一个有100个员工的公司,要统计一个月内员工全勤的人数,可以每天创建一个bitmap,签到的员工bit位置为1。
要统计当天签到的员工只要用BITCOUNT命令就可以。
要统计当月全勤的员工,只要对当月每天的bitmap做交集运算就可以,命令如下:
BITOP AND srckey1 srckey2 srckey3 ... srckey30
?
srckeyN表示第N天的打卡记录bitmap
?
11.2.2.统计网站日活跃用户
比如网站有10万个用户,这样我们创建一个长度为10万的bitmap,每个用户id占一个位,如果用户登录,就把bit位置为1,日终的时候用BITCOUNT命令统计出当天登录过的用户总数。
欢迎大家关注公众号【Java烂猪皮】,回复【666】,获取最新Java后端架构VIP学习资料以及视频学习教程,然后一起学习,一文在手,面试我有。
公众号【Java烂猪皮】里面每天都会分享很多独家的干货内容,比如:Java后端学习路线,分享实战项目,源码分析,百万级系统设计,系统上线的一些坑,MQ专题,真实面试题,每天都会回答大家提出的问题。
每一个专栏都是大家非常关心,和非常有价值的话题,我相信在专栏中你会学到很多东西,一起共勉。
- 上一篇:Redis 6.0 来了
- 下一篇:redis知识整理-持久化
相关推荐
- 【推荐】一个开源免费、AI 驱动的智能数据管理系统,支持多数据库
-
如果您对源码&技术感兴趣,请点赞+收藏+转发+关注,大家的支持是我分享最大的动力!!!.前言在当今数据驱动的时代,高效、智能地管理数据已成为企业和个人不可或缺的能力。为了满足这一需求,我们推出了这款开...
- Pure Storage推出统一数据管理云平台及新闪存阵列
-
PureStorage公司今日推出企业数据云(EnterpriseDataCloud),称其为组织在混合环境中存储、管理和使用数据方式的全面架构升级。该公司表示,EDC使组织能够在本地、云端和混...
- 对Java学习的10条建议(对java课程的建议)
-
不少Java的初学者一开始都是信心满满准备迎接挑战,但是经过一段时间的学习之后,多少都会碰到各种挫败,以下北风网就总结一些对于初学者非常有用的建议,希望能够给他们解决现实中的问题。Java编程的准备:...
- SQLShift 重大更新:Oracle→PostgreSQL 存储过程转换功能上线!
-
官网:https://sqlshift.cn/6月,SQLShift迎来重大版本更新!作为国内首个支持Oracle->OceanBase存储过程智能转换的工具,SQLShift在过去一...
- JDK21有没有什么稳定、简单又强势的特性?
-
佳未阿里云开发者2025年03月05日08:30浙江阿里妹导读这篇文章主要介绍了Java虚拟线程的发展及其在AJDK中的实现和优化。阅前声明:本文介绍的内容基于AJDK21.0.5[1]以及以上...
- 「松勤软件测试」网站总出现404 bug?总结8个原因,不信解决不了
-
在进行网站测试的时候,有没有碰到过网站崩溃,打不开,出现404错误等各种现象,如果你碰到了,那么恭喜你,你的网站出问题了,是什么原因导致网站出问题呢,根据松勤软件测试的总结如下:01数据库中的表空间不...
- Java面试题及答案最全总结(2025版)
-
大家好,我是Java面试陪考员最近很多小伙伴在忙着找工作,给大家整理了一份非常全面的Java面试题及答案。涉及的内容非常全面,包含:Spring、MySQL、JVM、Redis、Linux、Sprin...
- 数据库日常运维工作内容(数据库日常运维 工作内容)
-
#数据库日常运维工作包括哪些内容?#数据库日常运维工作是一个涵盖多个层面的综合性任务,以下是详细的分类和内容说明:一、数据库运维核心工作监控与告警性能监控:实时监控CPU、内存、I/O、连接数、锁等待...
- 分布式之系统底层原理(上)(底层分布式技术)
-
作者:allanpan,腾讯IEG高级后台工程师导言分布式事务是分布式系统必不可少的组成部分,基本上只要实现一个分布式系统就逃不开对分布式事务的支持。本文从分布式事务这个概念切入,尝试对分布式事务...
- oracle 死锁了怎么办?kill 进程 直接上干货
-
1、查看死锁是否存在selectusername,lockwait,status,machine,programfromv$sessionwheresidin(selectsession...
- SpringBoot 各种分页查询方式详解(全网最全)
-
一、分页查询基础概念与原理1.1什么是分页查询分页查询是指将大量数据分割成多个小块(页)进行展示的技术,它是现代Web应用中必不可少的功能。想象一下你去图书馆找书,如果所有书都堆在一张桌子上,你很难...
- 《战场兄弟》全事件攻略 一般事件合同事件红装及隐藏职业攻略
-
《战场兄弟》全事件攻略,一般事件合同事件红装及隐藏职业攻略。《战场兄弟》事件奖励,事件条件。《战场兄弟》是OverhypeStudios制作发行的一款由xcom和桌游为灵感来源,以中世纪、低魔奇幻为...
- LoadRunner(loadrunner录制不到脚本)
-
一、核心组件与工作流程LoadRunner性能测试工具-并发测试-正版软件下载-使用教程-价格-官方代理商的架构围绕三大核心组件构建,形成完整测试闭环:VirtualUserGenerator(...
- Redis数据类型介绍(redis 数据类型)
-
介绍Redis支持五种数据类型:String(字符串),Hash(哈希),List(列表),Set(集合)及Zset(sortedset:有序集合)。1、字符串类型概述1.1、数据类型Redis支持...
- RMAN备份监控及优化总结(rman备份原理)
-
今天主要介绍一下如何对RMAN备份监控及优化,这里就不讲rman备份的一些原理了,仅供参考。一、监控RMAN备份1、确定备份源与备份设备的最大速度从磁盘读的速度和磁带写的带度、备份的速度不可能超出这两...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- oracle位图索引 (63)
- oracle批量插入数据 (62)
- oracle事务隔离级别 (53)
- oracle 空为0 (50)
- oracle主从同步 (55)
- oracle 乐观锁 (51)
- redis 命令 (78)
- php redis (88)
- redis 存储 (66)
- redis 锁 (69)
- 启动 redis (66)
- redis 时间 (56)
- redis 删除 (67)
- redis内存 (57)
- redis并发 (52)
- redis 主从 (69)
- redis 订阅 (51)
- redis 登录 (54)
- redis 面试 (58)
- 阿里 redis (59)
- redis 搭建 (53)
- redis的缓存 (55)
- lua redis (58)
- redis 连接池 (61)
- redis 限流 (51)