如何访问 Redis 中的海量数据，服务才不会挂掉?
mhr18 2024-10-26 10:48 20 浏览 0 评论
一、前言
有时候我们需要知道线上的Redis的使用情况，尤其需要知道一些前缀的key值，让我们怎么去查看呢？并且通常情况下Redis里的数据都是海量的，那么我们访问Redis中的海量数据？如何避免事故产生！今天就给大家分享一个小知识点，希望大家轻喷。
二、事故产生
因为我们的用户token缓存是采用了【user_token:userid】格式的key，保存用户的token的值。我们运维为了帮助开发小伙伴们查一下线上现在有多少登录用户。
直接用了keys user_token*方式进行查询，事故就此发生了。导致Redis不可用，假死。《一个致命的 Redis 命令，导致公司损失 400 万！》值得一读。
三、分析原因
我们线上的登录用户有几百万，数据量比较多；keys算法是遍历算法，复杂度是O(n)，也就是数据越多，时间越高。
数据量达到几百万，keys这个指令就会导致 Redis 服务卡顿，因为 Redis 是单线程程序，顺序执行所有指令，其它指令必须等到当前的 keys 指令执行完了才可以继续。
四、解决方案
那我们如何去遍历大数据量呢？这个也是面试经常问的。我们可以采用Redis的另一个命令scan。
我们看一下scan的特点：
- 复杂度虽然也是 O(n)，但是它是通过游标分步进行的，不会阻塞线程
- 提供 count 参数，不是结果数量，是Redis单次遍历字典槽位数量(约等于)
- 同 keys 一样，它也提供模式匹配功能;
- 服务器不需要为游标保存状态，游标的唯一状态就是 scan 返回给客户端的游标整数;
- 返回的结果可能会有重复，需要客户端去重复，这点非常重要;
- 单次返回的结果是空的并不意味着遍历结束，而要看返回的游标值是否为零
4.1、scan命令格式
4.2、命令解释
scan 游标 MATCH <返回和给定模式相匹配的元素> count 每次迭代所返回的元素数量。
- SCAN命令是增量的循环，每次调用只会返回一小部分的元素。所以不会让Redis假死；
- SCAN命令返回的是一个游标，从0开始遍历，到0结束遍历；
4.3、举例
从0开始遍历，返回了游标6，又返回了数据，继续scan遍历，就要从6开始
五、总结
这个是面试经常会问到的，也是我们小伙伴在工作的过程经常用的，一般数据量不大的时候，不会有什么问题，但数据量多的时候，你的操作方式不对，你的绩效就会被扣哦。
相关推荐
- 京东大佬问我，每天新增100w订单数据的分库分表方案
-
京东大佬问我，每天新增100w订单数据的分库分表方案嗯，用户问的是高并发订单系统的分库分表方案，每天新增100万订单。首先，我得理解需求。每天100万订单，那每秒大概是多少呢？算一下，100万除以86...
- MySQL 内存使用构成解析与优化实践
-
在为HULK平台的MySQL提供运维服务过程中，我们常常接到用户反馈：“MySQL内存使用率过高”。尤其在业务高峰期，监控中内存占用持续增长，即便数据库运行正常，仍让人怀疑是否存在异常，甚至...
- 阿里云国际站:怎样计算内存优化型需求?
-
本文由【云老大】TG@yunlaoda360撰写一、内存优化型实例的核心价值内存优化型ECS实例专为数据密集型场景设计，具有以下核心优势：高内存配比：内存与CPU比例可达1:8（如ecs.re6....
- MySQL大数据量处理常用解决方案
-
1、读写分离读写分离，将数据库的读写操作分开，比如让性能比较好的服务器去做写操作，性能一般的服务器做读操作。写入或更新操作频繁可以借助MQ，进行顺序写入或更新。2、分库分表分库分表是最常规有效的一种大...
- 1024程序员节 花了三个小时调试 集合近50种常用小工具 开源项目
-
开篇1024是程序员节了，本来我说看个开源项目花半个小时调试之前看的一个不错的开源项目，一个日常开发常常使用的工具集，结果花了我三个小时，开源作者的开源项目中缺少一些文件，我一个个在网上找的，好多坑...
- 免费全开源，功能强大的多连接数据库管理工具!-DbGate
-
DBGate是一个强大且易于使用的开源数据库管理工具，它提供了一个统一的Web界面，让你能够轻松地访问和管理多种类型的数据库。无论你是开发者、数据分析师还是DBA，DBGate都能帮助你提升工作效率...
- 使用operator部署Prometheus
-
一、介绍Operator是CoreOS公司开发，用于扩展kubernetesAPI或特定应用程序的控制器，它用来创建、配置、管理复杂的有状态应用，例如数据库，监控系统。其中Prometheus-Op...
- java学习总结
-
SpringBoot简介https://spring.io/guideshttp://www.spring4all.com/article/246http://www.spring4all.com/a...
- Swoole难上手?从EasySwoole开始
-
前言有些童鞋感觉对Swoole不从下手，也不知在什么业务上使用它，看它这么火却学不会也是挺让人捉急的一件事情。Swoole：面向生产环境的PHP异步网络通信引擎啥是异步网络通信?10年架构师领你架...
- 一款商用品质的开源商城系统(Yii2+Vue2.0+uniapp)
-
一、项目简介这是一套很成熟的开源商城系统【开店星】，之前推过一次，后台感兴趣的还不少，今天再来详细介绍一下：基于Yii2+Vue2.0+uniapp框架研发，代码质量堪称商用品质，下载安装无门槛，UI...
- Yii2中对Composer的使用
-
如何理解Composer？若使用Composer我们应该先知道这是一个什么东西，主要干什么用的，我们可以把Composer理解为PHP包的管理工具，管理我们用到的Yii2相关的插件。安装Compose...
- SpringBoot实现OA自动化办公管理系统源码+代码讲解+开发文档
-
今天发布的是由【猿来入此】的优秀学员独立做的一个基于springboot脚手架的自动化OA办公管理系统，主要实现了日常办公的考勤签到等一些办公基本操作流程的全部功能，系统分普通员工、部门经理、管理员等...
- 7层架构解密:从UI到基础设施，打造真正可扩展的系统
-
"我们系统用户量暴增后完全崩溃了！"这是多少工程师的噩梦？选择正确的数据库只是冰山一角，真正的系统扩展性是一场全栈战役。客户端层：用户体验的第一道防线当用户点击你的应用时，0.1秒...
- Win11系统下使用Django+Celery异步任务队列以及定时(周期)任务
-
首先明确一点，celery4.1+的官方文档已经详细说明，该版本之后不需要引入依赖django-celery这个库了，直接用celery本身就可以了，就在去年年初的一篇文章python3.7....
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- oracle位图索引 (63)
- oracle批量插入数据 (62)
- oracle事务隔离级别 (53)
- oracle 空为0 (50)
- oracle主从同步 (55)
- oracle 乐观锁 (51)
- redis 命令 (78)
- php redis (88)
- redis 存储 (66)
- redis 锁 (69)
- 启动 redis (66)
- redis 时间 (56)
- redis 删除 (67)
- redis内存 (57)
- redis并发 (52)
- redis 主从 (69)
- redis 订阅 (51)
- redis 登录 (54)
- redis 面试 (58)
- 阿里 redis (59)
- redis 搭建 (53)
- redis的缓存 (55)
- lua redis (58)
- redis 连接池 (61)
- redis 限流 (51)