海量数据下如何正确访问Redis服务才不会挂掉?
mhr18 2024-10-23 11:37 19 浏览 0 评论
作者：老顾聊技术
链接：https://mp.weixin.qq.com/s/rGhfw1WVNiqHJ7OheUB3RQ
一、前言
有时候我们需要知道线上的Redis的使用情况，尤其需要知道一些前缀的key值，让我们怎么去查看呢？并且通常情况下Redis里的数据都是海量的，那么我们访问Redis中的海量数据？如何避免事故产生！今天就给大家分享一个小知识点，希望大家轻喷——全当抛砖引玉了^_^。
二、事故产生
因为我们的用户token缓存是采用了【user_token:userid】格式的key，保存用户的token的值。我们运维为了帮助开发小伙伴们查一下线上现在有多少登录用户。
直接用了keys user_token*方式进行查询，事故就此发生了。导致Redis不可用，假死。
三、分析原因
我们线上的登录用户有几百万，数据量比较多；keys算法是遍历算法，复杂度是O(n)，也就是数据越多，时间越高。
数据量达到几百万，keys这个指令就会导致 Redis 服务卡顿，因为 Redis 是单线程程序，顺序执行所有指令，其它指令必须等到当前的 keys 指令执行完了才可以继续。
四、解决方案
那我们如何去遍历大数据量呢？这个也是面试经常问的。我们可以采用Redis的另一个命令scan。我们看一下scan的特点：
- 复杂度虽然也是 O(n)，但是它是通过游标分步进行的，不会阻塞线程
- 提供 count 参数，不是结果数量，是Redis单次遍历字典槽位数量(约等于)
- 同 keys 一样，它也提供模式匹配功能;
- 服务器不需要为游标保存状态，游标的唯一状态就是 scan 返回给客户端的游标整数;
- 返回的结果可能会有重复，需要客户端去重复，这点非常重要;
- 单次返回的结果是空的并不意味着遍历结束，而要看返回的游标值是否为零
4.1、scan命令格式
4.2、命令解释
scan 游标 MATCH <返回和给定模式相匹配的元素> count 每次迭代所返回的元素数量
- SCAN命令是增量的循环，每次调用只会返回一小部分的元素。所以不会让Redis假死；
- SCAN命令返回的是一个游标，从0开始遍历，到0结束遍历；
4.3、举例
从0开始遍历，返回了游标6，又返回了数据，继续scan遍历，就要从6开始
五、总结
这个是面试经常会问到的，也是我们小伙伴在工作的过程经常用的，一般数据量不大的时候，不会有什么问题，但数据量多的时候，你的操作方式不对，你的绩效就会被扣哦。
相关推荐
- Docker安装详细步骤及相关环境安装配置
-
最近自己在虚拟机上搭建一个docker,将项目运行在虚拟机中。需要提前准备的工具，FinallShell(远程链接工具)，VM（虚拟机-配置网络）、CentOS7(Linux操作系统-在虚拟机上安装)...
- Linux下安装常用软件都有哪些?做了一个汇总列表，你看还缺啥?
-
1.安装列表MySQL5.7.11Java1.8ApacheMaven3.6+tomcat8.5gitRedisNginxpythondocker2.安装mysql1.拷贝mysql安装文件到...
- Nginx安装和使用指南详细讲解（nginx1.20安装）
-
Nginx安装和使用指南安装1.检查并安装所需的依赖软件1).gcc:nginx编译依赖gcc环境安装命令：yuminstallgcc-c++2).pcre:(PerlCompatibleRe...
- docker之安装部署Harbor（docker安装hacs）
-
在现代软件开发和部署环境中，Harbor作为一个企业级的容器镜像仓库，提供了高效、安全的镜像管理解决方案。通过Docker部署Harbor，可以轻松构建私有镜像仓库，满足企业对镜像存储、管理和安全性...
- 成功安装 Magento2.4.3最新版教程「技术干货」
-
外贸独立站设计公司xingbell.com经过多次的反复实验，最新版的magento2.4.3在oneinstack的环境下的详细安装教程如下：一.vps系统：LinuxCentOS7.7.19...
- 【Linux】——从0到1的学习，让你熟练掌握，带你玩转Linu
-
学习Linux并掌握Java环境配置及SpringBoot项目部署是一个系统化的过程，以下是从零开始的详细指南，帮助你逐步掌握这些技能。一、Linux基础入门1.安装Linux系统选择发行版：推荐...
- cent6.5安装gitlab-ce最新版本-11.8.2并配置邮件服务
-
cent6.5安装gitlab-ce最新版本-11.8.2并配置邮件服务(yum选择的,时间不同,版本不同)如果对运维课程感兴趣，可以在b站上搜索我的账号：运维实战课程，可以关注我，学习更多免费的运...
- 时隔三月，参加2020秋招散招，终拿字节跳动后端开发意向书.
-
3个月前头条正式批笔试4道编程题只AC了2道，然后被刷了做了200多道还是太菜了，本来对字节不抱太大希望，毕竟后台竞争太大，而且字节招客户端开发比较多。后来看到有散招免笔试，抱着试一试的心态投了，然而...
- Redisson:Java程序员手中的“魔法锁”
-
Redisson：Java程序员手中的“魔法锁”在这个万物互联的时代，分布式系统已经成为主流。然而，随着系统的扩展，共享资源的争夺成为了一个棘手的问题。就比如你想在淘宝“秒杀”一款商品，却发现抢的人太...
- 【线上故障复盘】RPC 线程池被打满，1024个线程居然不够用?
-
1.故障背景昨天晚上，我刚到家里打开公司群，就看见群里有人讨论：线上环境出现大量RPC请求报错，异常原因：被线程池拒绝。虽然异常量很大，但是异常服务非核心服务，属于系统旁路，服务于数据核对任务，即使...
- 小红书取消大小周，有人不高兴了!
-
小红书宣布五一节假日之后，取消大小周，恢复为正常的双休，乍一看工作时长变少，按道理来说大家应该都会很开心，毕竟上班时间缩短了，但是还是有一些小红书的朋友高兴不起来，心情很复杂。因为没有了大小周，以前...
- 延迟任务的多种实现方案（延迟机制）
-
场景订单超时自动取消：延迟任务典型的使用场景是订单超时自动取消。功能精确的时间控制：延时任务的时间控制要尽量准确。可靠性：延时任务的处理要是可靠的，确保所有任务最终都能被执行。这通常要求延时任务的方案...
- 百度java面试真题（java面试题下载）
-
1、SpingBoot也有定时任务？是什么注解？在SpringBoot中使用定时任务主要有两种不同的方式，一个就是使用Spring中的@Scheduled注解，另一个则是使用第三方框架Q...
- 回归基础:访问 Kubernetes Pod（concurrent.futures访问数据库）
-
Kubernetes是一头巨大的野兽。在它开始有用之前，您需要了解许多概念。在这里，学习几种访问集群外pod的方法。Kubernetes是一头巨大的野兽。在它开始有用之前，您需要了解许多不同的...
- Spring 缓存神器 @Cacheable:3 分钟学会优化高频数据访问
-
在互联网应用中，高频数据查询（如商品详情、用户信息）往往成为性能瓶颈。每次请求都触发数据库查询，不仅增加服务器压力，还会导致响应延迟。Spring框架提供的@Cacheable注解，就像给方法加了一...
欢迎 你 发表评论:
- 一周热门
- 最近发表
-
- Docker安装详细步骤及相关环境安装配置
- Linux下安装常用软件都有哪些?做了一个汇总列表，你看还缺啥?
- Nginx安装和使用指南详细讲解（nginx1.20安装）
- docker之安装部署Harbor（docker安装hacs）
- 成功安装 Magento2.4.3最新版教程「技术干货」
- 【Linux】——从0到1的学习，让你熟练掌握，带你玩转Linu
- cent6.5安装gitlab-ce最新版本-11.8.2并配置邮件服务
- 时隔三月，参加2020秋招散招，终拿字节跳动后端开发意向书.
- Redisson:Java程序员手中的“魔法锁”
- 【线上故障复盘】RPC 线程池被打满，1024个线程居然不够用?
- 标签列表
-
- oracle位图索引 (63)
- oracle批量插入数据 (62)
- oracle事务隔离级别 (53)
- oracle 空为0 (50)
- oracle主从同步 (55)
- oracle 乐观锁 (51)
- redis 命令 (78)
- php redis (88)
- redis 存储 (66)
- redis 锁 (69)
- 启动 redis (66)
- redis 时间 (56)
- redis 删除 (67)
- redis内存 (57)
- redis并发 (52)
- redis 主从 (69)
- redis 订阅 (51)
- redis 登录 (54)
- redis 面试 (58)
- 阿里 redis (59)
- redis 搭建 (53)
- redis的缓存 (55)
- lua redis (58)
- redis 连接池 (61)
- redis 限流 (51)