Redis 阻塞的原因及其排查方向(redis是阻塞还是非阻塞)
mhr18 2024-11-06 10:50 25 浏览 0 评论
一、慢查询
因为 Redis 是单线程的,大量的慢查询可能会导致 redis-server 阻塞,可以通过 slowlog get n 获取慢日志,查看详情情况。
二、bigkey 大对象
bigkey 大对象可能会导致的问题包括:
- 内存空间不均匀(平衡),例如在 Redis Cluster 中,bigkey 会造成节点的内存空间使用不均匀。
- 超时阻塞:由于Redis 单线程的特性,操作 bigkey 比较耗时,也就意味着阻塞 Redis 的可能性增大。
- 网络阻塞:每次获取 bigkey 产生的网络流量较大,假设一个 bigkey 为 1MB,每次访问量为 1000,那么每秒产生 1000MB 的流量,对于普通的千兆网卡(按照字节算是128MB/s)的服务器简直是灭顶之灾。
bigkey 的存在并不是完全致命的,如果这个 bigkey 存在但是几乎不被访问,那么只有内存空间不均匀的问题存在,相对于另外两个问题没有那么重要紧急,但是如果 bigkey 是一个热点key(频繁访问),那么其带来的危害不可想象,所以在实际开发和运维时一定要密切关注 bigkey 的存在。
可以通过 redis-cli -h {ip} -p {port} bigkeys 发现大对象。
三、swap
因为 Redis 的数据放在内存中,所以存放数据量的多少取决于内存的多少。
如果一个 Redis 实例的内存使用率超过可用最大内存(used_memory > 可用最大内存),那么操作系统开始进行内存和 swap 空间交换,把内存中旧的或不再使用的内容写入硬盘上(硬盘上的这块空间叫 Swap 分区),以便腾出新的物理内存给新页使用。
在硬盘上进行读写操作要比内存上慢了近5个数量级 —— 内存是 0.1μs 单位、硬盘是 10ms。如果 Redis 进程上发生内存交换,那么 Redis 和 依赖 Redis 上数据的应用会受到严重的性能影响。
查看 used_memory 指标可知道 Redis 正在使用的内存情况,识别 Redis 内存交换的检查方法:
识别 redis 进程号
redis-cli info server | grep process_id
根据进程号查询内存交换信息
cat /proc/{process_id}/smaps | grep Swap
如果交换量都是 0KB 或者个别 4KB,是正常现象。
预防内存交换:
- 保证机器充足的可用内存;
- 确保所有 redis 示例设置最大可用内存(maxmemory),防止极端情况下 redis 内存不可控的增长;
- 降低系统使用 swap 优先级,如 echo 10>/proc/sys/vm/swappiness。
四、fork 子进程
在 RDB 生成和 AOF 重写时,会 fork 一个子进程完成持久化工作,当 fork 操作执行太过耗时也会造成阻塞,阻塞原因是该操作会复制父进程的空间内存表,即 fork 操作耗时跟内存量(数据集)关系较大。
fork 操作是重量级操作,会复制父进程的空间内存表(理论上需要复制与父进程同样的内存,但是 linux 有写时复制机制,父子进程贡献相同的物理内存页,实际会小很多,10G 大概只需要 20MB)。
fork 耗时应该在 20ms/GB;应该严格控制每个实例可使用的最大内存 10GB 以内(复制空间内存表);降低 fork 操作执行频率,适当放宽 AOF 重写触发时机。
使用 info stats 命令获取 lastest_fork_usec 指标,表示 redis 最近一次 fork 操作耗时。
五、AOF 刷盘阻塞
开启 AOF,文件刷盘一般每秒一次,硬盘压力过大时,fsync 需要等待写入完成。
查看 redis 日志或 info persistence 统计中的 aof_delayed_fsync 指标。
六、Redis 输入缓冲区可能导致的阻塞
输入缓冲区:redis 为每个客户端分配了输入缓冲区,其会将客户端发送命令临时保存,然后取出来执行。 qbuf 表示总容量(0 表示没有分配查询缓冲区),qbuf-free 表示剩余容量(0 表示没有剩余空间);大小不能超过 1G,当大小超过 1G 时会将客户端自动关闭,输入缓冲区不受 maxmemory 限制。
当大量的 key 进入输入缓冲区且无法被消费时,即可造成 redis 阻塞;通过 client list 命令可定位发生阻塞的客户端;通过 info clients 命令的 blocked_clients 参数可以查看到当前阻塞的命令。
七、Redis 输出缓冲区可能导致的阻塞
输出缓冲区(client output buffer):是 redis-server 端实现的一个读取缓冲区,redis-server 在接收到客户端的请求后,把获取结果写入到 client buffer 中,而不是直接发送给客户端。从而可以继续处理客户端的其他请求,这样异步处理方式使 redis-server 不会因为网络原因阻塞其他请求的处理。
redis client buffer 的配置参数为 "client-output-buffer-limit",默认值为:
127.0.0.1:6379> CONFIG GET "*output*"
1) "client-output-buffer-limit"
2) "normal 0 0 0 slave 0 0 0 pubsub 0 0 0"
- class :客户端种类,normal、slave、pubsub
- normal:普通的客户端
- slave: 从库的复制客户端
- pub/sub: 发布与订阅的客户端
- hard limit: 缓冲区大小的硬性限制。
- soft limit: 缓冲去大小的软性限制。
- soft seconds: 缓冲区大小达到了(超过)soft limit 值得持续时间。
client-output-buffer-limit 参数限制分配的缓冲区的大小,防止内存无节制的分配。参数的默认值都为 0,意思是不做任何限制。
redis server 触发保护机制主要有两种情况:
1) client buffer 的大小达到了 soft limit 并持续了 soft seconds 时间,将立即断开和客户端的连接。
2) client buffer 的大小达到了 hard limit,server 也会立即断开和客户端的连接。
八、网络问题
1. 连接拒绝
- 网络闪断:一般在网络割接或带宽耗尽的情况;
- redis 连接拒绝:连接数大于 maxclients 时拒绝新的连接进入,可以关注 info stats 的 rejected_connections 指标;
- 连接溢出:
- 进程限制:进程可打开最大文件数控制 —— ulimit -n,通常 1024,大量连接的 redis 需要增大该值;
- backlog 队列溢出:系统对于特定端口 tcp 连接使用 backlog 队列保存,redis 默认 511,系统 backlog 默认 128,线上可使用 cron 定时执行 netstat -s | grep overflowed 统计;
2. 网络延迟
测量机器之间的网络延迟
redis-cli -h {ip} -p {port} –latency
redis-cli -h {ip} -p {port} –latency-history 默认15秒完成一行统计,-i控制采样时间
redis-cli -h {ip} -p {port} –latency-dist 统计图展示,每1秒采样一次
相关推荐
- Docker安装详细步骤及相关环境安装配置
-
最近自己在虚拟机上搭建一个docker,将项目运行在虚拟机中。需要提前准备的工具,FinallShell(远程链接工具),VM(虚拟机-配置网络)、CentOS7(Linux操作系统-在虚拟机上安装)...
- Linux下安装常用软件都有哪些?做了一个汇总列表,你看还缺啥?
-
1.安装列表MySQL5.7.11Java1.8ApacheMaven3.6+tomcat8.5gitRedisNginxpythondocker2.安装mysql1.拷贝mysql安装文件到...
- Nginx安装和使用指南详细讲解(nginx1.20安装)
-
Nginx安装和使用指南安装1.检查并安装所需的依赖软件1).gcc:nginx编译依赖gcc环境安装命令:yuminstallgcc-c++2).pcre:(PerlCompatibleRe...
- docker之安装部署Harbor(docker安装hacs)
-
在现代软件开发和部署环境中,Harbor作为一个企业级的容器镜像仓库,提供了高效、安全的镜像管理解决方案。通过Docker部署Harbor,可以轻松构建私有镜像仓库,满足企业对镜像存储、管理和安全性...
- 成功安装 Magento2.4.3最新版教程「技术干货」
-
外贸独立站设计公司xingbell.com经过多次的反复实验,最新版的magento2.4.3在oneinstack的环境下的详细安装教程如下:一.vps系统:LinuxCentOS7.7.19...
- 【Linux】——从0到1的学习,让你熟练掌握,带你玩转Linu
-
学习Linux并掌握Java环境配置及SpringBoot项目部署是一个系统化的过程,以下是从零开始的详细指南,帮助你逐步掌握这些技能。一、Linux基础入门1.安装Linux系统选择发行版:推荐...
- cent6.5安装gitlab-ce最新版本-11.8.2并配置邮件服务
-
cent6.5安装gitlab-ce最新版本-11.8.2并配置邮件服务(yum选择的,时间不同,版本不同)如果对运维课程感兴趣,可以在b站上搜索我的账号:运维实战课程,可以关注我,学习更多免费的运...
- 时隔三月,参加2020秋招散招,终拿字节跳动后端开发意向书.
-
3个月前头条正式批笔试4道编程题只AC了2道,然后被刷了做了200多道还是太菜了,本来对字节不抱太大希望,毕竟后台竞争太大,而且字节招客户端开发比较多。后来看到有散招免笔试,抱着试一试的心态投了,然而...
- Redisson:Java程序员手中的“魔法锁”
-
Redisson:Java程序员手中的“魔法锁”在这个万物互联的时代,分布式系统已经成为主流。然而,随着系统的扩展,共享资源的争夺成为了一个棘手的问题。就比如你想在淘宝“秒杀”一款商品,却发现抢的人太...
- 【线上故障复盘】RPC 线程池被打满,1024个线程居然不够用?
-
1.故障背景昨天晚上,我刚到家里打开公司群,就看见群里有人讨论:线上环境出现大量RPC请求报错,异常原因:被线程池拒绝。虽然异常量很大,但是异常服务非核心服务,属于系统旁路,服务于数据核对任务,即使...
- 小红书取消大小周,有人不高兴了!
-
小红书宣布五一节假日之后,取消大小周,恢复为正常的双休,乍一看工作时长变少,按道理来说大家应该都会很开心,毕竟上班时间缩短了,但是还是有一些小红书的朋友高兴不起来,心情很复杂。因为没有了大小周,以前...
- 延迟任务的多种实现方案(延迟机制)
-
场景订单超时自动取消:延迟任务典型的使用场景是订单超时自动取消。功能精确的时间控制:延时任务的时间控制要尽量准确。可靠性:延时任务的处理要是可靠的,确保所有任务最终都能被执行。这通常要求延时任务的方案...
- 百度java面试真题(java面试题下载)
-
1、SpingBoot也有定时任务?是什么注解?在SpringBoot中使用定时任务主要有两种不同的方式,一个就是使用Spring中的@Scheduled注解,另一个则是使用第三方框架Q...
- 回归基础:访问 Kubernetes Pod(concurrent.futures访问数据库)
-
Kubernetes是一头巨大的野兽。在它开始有用之前,您需要了解许多概念。在这里,学习几种访问集群外pod的方法。Kubernetes是一头巨大的野兽。在它开始有用之前,您需要了解许多不同的...
- Spring 缓存神器 @Cacheable:3 分钟学会优化高频数据访问
-
在互联网应用中,高频数据查询(如商品详情、用户信息)往往成为性能瓶颈。每次请求都触发数据库查询,不仅增加服务器压力,还会导致响应延迟。Spring框架提供的@Cacheable注解,就像给方法加了一...
你 发表评论:
欢迎- 一周热门
- 最近发表
-
- Docker安装详细步骤及相关环境安装配置
- Linux下安装常用软件都有哪些?做了一个汇总列表,你看还缺啥?
- Nginx安装和使用指南详细讲解(nginx1.20安装)
- docker之安装部署Harbor(docker安装hacs)
- 成功安装 Magento2.4.3最新版教程「技术干货」
- 【Linux】——从0到1的学习,让你熟练掌握,带你玩转Linu
- cent6.5安装gitlab-ce最新版本-11.8.2并配置邮件服务
- 时隔三月,参加2020秋招散招,终拿字节跳动后端开发意向书.
- Redisson:Java程序员手中的“魔法锁”
- 【线上故障复盘】RPC 线程池被打满,1024个线程居然不够用?
- 标签列表
-
- oracle位图索引 (63)
- oracle批量插入数据 (62)
- oracle事务隔离级别 (53)
- oracle 空为0 (50)
- oracle主从同步 (55)
- oracle 乐观锁 (51)
- redis 命令 (78)
- php redis (88)
- redis 存储 (66)
- redis 锁 (69)
- 启动 redis (66)
- redis 时间 (56)
- redis 删除 (67)
- redis内存 (57)
- redis并发 (52)
- redis 主从 (69)
- redis 订阅 (51)
- redis 登录 (54)
- redis 面试 (58)
- 阿里 redis (59)
- redis 搭建 (53)
- redis的缓存 (55)
- lua redis (58)
- redis 连接池 (61)
- redis 限流 (51)