Redis中元素的遍历，你是用keys还是scan
mhr18 2024-11-30 12:29 12 浏览 0 评论
对于Redis服务器的维护，有时我们需要从成千上万的key中，找出我们指定的key，也就是模糊匹配出来的key，redis提供了一个简单粗暴的命令：keys，它可以用来列出所有满足特定正则字符串规则的 key。
但是对于这个简单粗暴的命令，要是不想被同事吊，生产环境就忘记有这个命令的存在，或者是这个命令在生产环境已经被老大给和谐了，原因想必大家也知道，这个指令没有offset、limit 参数，一次性吐出所有满足条件的key，万一实例中有上百万个key满足条件，你就傻眼了，并且其他同事开发的模块也在调用同一个Redis服务器的时候，他们想杀你的心都有了，keys算法是遍历算法，复杂度是 O(n)，如果实例中有千万级以上的 key，这个指令就会导致 Redis 服务卡顿，所有读写Redis的其它的指令都会被延后甚至会超时报错，因为 Redis是单线程程序，顺序执行所有指令，其它指令必须等到当前的 keys 指令执行完了才可以继续。这里插个闲话，Redis也逃脱不了真香定理，要向多线程方向发展，Redis 6.0引入的最重大的改变就是多线程IO，对性能提升至少是一倍以上，等大家升级到6.0版本以上之后，也许keys命令的弊病就没有了，不过还没验证。
先不说多线程版本的Redis，先来说一下单线程版本的Redis是怎么解决这个遍历key的问题，redis提供了另外一个命令，就是scan:
scan命令的特点如下：
1、复杂度和keys命令一样，也是 O(n)，但是它是通过游标分步进行的，不会阻塞线程
2、提供limit参数，可以控制每次返回结果的最大条数，这里是最大条数，而不是等于limit的条数，因为是匹配查询，是在limit的范围内匹配查询
3、返回的结果可能会有重复
4、遍历的过程中如果有数据修改，改动后的数据能不能遍历到是不确定的;
5、单次返回的结果是空的并不意味着遍历结束，而要看返回的游标值是否为零;
scan的命令格式为：
SCAN cursor [MATCH pattern] [COUNT count]
其中cursor是游标位置，是整数值；pattern是遍历key的正则表达式；count是遍历元素的最大条数。
先写一个程序向redis服务器写入一万个key：
然后用scan遍历符合bingmayong88的元素：
大家都知道Java中HashMap的底层实现结构，是数组+链表的形式，在JDK1.7之后还加入了红黑树，在Redis当中，所有的key都存储在一个很大的字典中，这个字典结构就是一维数组+二维链表的结构，scan指令返回的游标就是第一维数组的位置索引，这个位置索引称为槽 (slot)。 如果不考虑字典的扩容缩容，直接按数组下标挨个遍历就行了。limit 参数就表示需要遍历的槽位数，之所以返回的结果可能多可能少，是因为不是所有的槽位上都会挂接链表，有些槽 位可能是空的，还有些槽位上挂接的链表上的元素可能会有多个。每一次遍历都会将 limit 数量的槽位上挂接的所有链表元素进行模式匹配过滤后，一次性返回给客户端。
从图中可以看出，scan 的遍历顺序非常特别。它不是从第一维数组的第 0 位一直遍历到末尾，而是采用 了高位进位加法来遍历。之所以使用这样特殊的方式进行遍历，是考虑到字典的扩容和缩容 时避免槽位的遍历重复和遗漏。关于高位进位加法，大家有兴趣的可以查阅资料了解一下。
相关推荐
- B站收藏视频失效?mybili 收藏夹备份神器完整部署指南
-
本内容来源于@什么值得买APP，观点仅代表作者本人｜作者：羊刀仙很多B站用户都有过类似经历：自己精心收藏的视频突然“消失”，点开一看不是“已被删除”，就是“因UP主设置不可见”。而B站并不会主动通知...
- 中间件推荐初始化配置
-
Redis推荐初始化配置bind0.0.0.0protected-modeyesport6379tcp-backlog511timeout300tcp-keepalive300...
- Redis中缓存穿透问题与解决方法
-
缓存穿透问题概述在Redis作为缓存使用时，缓存穿透是常见问题。正常查询流程是先从Redis缓存获取数据，若有则直接使用；若没有则去数据库查询，查到后存入缓存。但当请求的数据在缓存和数据库中都...
- 后端开发必看!Redis 哨兵机制如何保障系统高可用?
-
你是否曾在项目中遇到过Redis主服务器突然宕机，导致整个业务系统出现数据读取异常、响应延迟甚至服务中断的情况？面对这样的突发状况，作为互联网大厂的后端开发人员，如何快速恢复服务、保障系统的高可用...
- Redis合集-大Key处理建议
-
以下是Redis大Key问题的全流程解决方案，涵盖检测、处理、优化及预防策略，结合代码示例和最佳实践：一、大Key的定义与风险1.大Key判定标准数据类型大Key阈值风险场景S...
- 深入解析跳跃表:Redis里的"老六"数据结构，专治各种不服
-
大家好，我是你们的码农段子手，今天要给大家讲一个Redis世界里最会"跳科目三"的数据结构——跳跃表（SkipList）。这货表面上是个青铜，实际上是个王者，连红黑树见了都要喊声大哥。...
- Redis 中 AOF 持久化技术原理全解析，看完你就懂了!
-
你在使用Redis的过程中，有没有担心过数据丢失的问题？尤其是在服务器突然宕机、意外断电等情况发生时，那些还没来得及持久化的数据，是不是让你夜不能寐？别担心，Redis的AOF持久化技术就是...
- Redis合集-必备的几款运维工具
-
Redis在应用Redis时，经常会面临的运维工作，包括Redis的运行状态监控，数据迁移，主从集群、切片集群的部署和运维。接下来，从这三个方面，介绍一些工具。先来学习下监控Redis实时...
- 别再纠结线程池大小 + 线程数量了，没有固定公式的!
-
我们在百度上能很轻易地搜索到以下线程池设置大小的理论：在一台服务器上我们按照以下设置CPU密集型的程序-核心数+1I/O密集型的程序-核心数*2你不会真的按照这个理论来设置线程池的...
- 网络编程—IO多路复用详解
-
假如你想了解IO多路复用，那本文或许可以帮助你本文的最大目的就是想要把select、epoll在执行过程中干了什么叙述出来，所以具体的代码不会涉及，毕竟不同语言的接口有所区别。基础知识IO多路复用涉及...
- 5分钟学会C/C++多线程编程进程和线程
-
前言对线程有基本的理解简单的C++面向过程编程能力创造单个简单的线程。创造单个带参数的线程。如何等待线程结束。创造多个线程，并使用互斥量来防止资源抢占。会使用之后，直接跳到“汇总”，复制模板来用就行...
- 尽情阅读，技术进阶，详解mmap的原理
-
1.一句话概括mmapmmap的作用，在应用这一层，是让你把文件的某一段，当作内存一样来访问。将文件映射到物理内存，将进程虚拟空间映射到那块内存。这样，进程不仅能像访问内存一样读写文件，多个进程...
- C++11多线程知识点总结
-
一、多线程的基本概念1、进程与线程的区别和联系进程：进程是一个动态的过程，是一个活动的实体。简单来说，一个应用程序的运行就可以被看做是一个进程；线程：是运行中的实际的任务执行者。可以说，进程中包含了多...
- 微服务高可用的2个关键技巧，你一定用得上
-
概述上一篇文章讲了一个朋友公司使用SpringCloud架构遇到问题的一个真实案例，虽然不是什么大的技术问题，但如果对一些东西理解的不深刻，还真会犯一些错误。这篇文章我们来聊聊在微服务架构中，到底如...
- Java线程间如何共享与传递数据
-
1、背景在日常SpringBoot应用或者Java应用开发中，使用多线程编程有很多好处，比如可以同时处理多个任务，提高程序的并发性；可以充分利用计算机的多核处理器，使得程序能够更好地利用计算机的资源，...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- oracle位图索引 (63)
- oracle批量插入数据 (62)
- oracle事务隔离级别 (53)
- oracle 空为0 (50)
- oracle主从同步 (55)
- oracle 乐观锁 (51)
- redis 命令 (78)
- php redis (88)
- redis 存储 (66)
- redis 锁 (69)
- 启动 redis (66)
- redis 时间 (56)
- redis 删除 (67)
- redis内存 (57)
- redis并发 (52)
- redis 主从 (69)
- redis 订阅 (51)
- redis 登录 (54)
- redis 面试 (58)
- 阿里 redis (59)
- redis 搭建 (53)
- redis的缓存 (55)
- lua redis (58)
- redis 连接池 (61)
- redis 限流 (51)