百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

Redis 性能问题排查:slowlog 和排队延时

mhr18 2024-10-23 11:34 30 浏览 0 评论

一、Redis Slowlog介绍

[Redis Slowlog]是排查性能问题关键监控指标。它是记录Redis queries运行时间超时特定阀值的系统。

这类慢查询命令被保存到Redis服务器的一个定长队列,最多保存slowlog-max-len(默认128)个慢查询命令。

当慢查询命令达到128个时,新产生的慢查询被加入前,会从队列中删除最旧的慢查询命令。

1.1 Redis Slowlog的配置

redis slowlog通过2个参数配置管理,默认命令耗时超过10毫秒,就会被记录到慢查询日志队列中;队列默认保存最近产生的128个慢查询命令。

slowlog-log-slower-than: 慢查询阀值,单位微秒. 默认100000(10毫秒);

生产环境设置1ms,因为Redis是single thread,如果命令都是1ms以上,则实例的吞吐量只有1000QPS.

slowlog-max-len: 慢查询存储的最大个数,默认128;

生产设置设置大于1024,因为slowlog会省略过多的参数,慢查询不会占用过多的内存;

慢查询队列满后,淘汰最老的慢查询实体。

1.2 Redis Slowlog读取

redis-cli客户端通过slowlog get指令获取最新10条慢查询命令。

当然各语言的client也实现对应的接口。

示例:获取最近2个慢查询命令 
127.0.0.1:6381> SLOWLOG get 2
1) 1) (integer) 6
 2) (integer) 1458734263
 3) (integer) 74372
 4) 1) "hgetall"
 2) "max.dsp.blacklist"
2) 1) (integer) 5
 2) (integer) 1458734258
 3) (integer) 5411075
 4) 1) "keys"
 2) "max.dsp.blacklist"
分析slowlog query:
 以第一个HGET命令为例分析,每个slowlog实体共4个字段:
 * 字段1:1个整数,表示这个slowlog出现的序号,server启动后递增, 当前为6.
 * 字段2:表示查询执行时的Unix时间戳.
 * 字段3:表示查询执行微妙数,当前是74372微妙,约74ms.
 * 字段4: 表示查询的命令和参数,如果参数很多或很大,只会显示部分并给数参数个数;
 当前命令是"hgetall" "max.dsp.blacklist"

1.3 Redis Slowlog只计算命令的执行时间

如MySQL/MongoDB等常见数据库,慢查询的query_time都会包含命令所有耗时,包含锁等待这类时间; 而Redis的慢查询query_time只记录自己“被cpu服务的时间”,不包含排队等待、IO等待(如AOF SYNC)这类时间。

理解这点非常重要

参考:
 The Redis Slow Log is a system to log queries that exceeded a 
specified execution time. The execution time does not include I/O 
operations like talking with the client, sending the reply and so forth,
but just the time needed to actually execute the command (this is the only
stage of command execution where the thread is blocked and can not serve
other requests in the meantime).

二、Redis Slowlog测试

设定请求的响应时间(R),服务时间(S), 排队延时(Q).

R = S + Q

我们回到Redis的Slowlog问题上,上节已说slowlog只计算Redis命令被服务的时间,并不包含命令的排队延迟时间。

2.1 现在做个测试:

1、redis实例port=6379,分别打开两个session. session-1模拟一个执行耗时6秒的大命令debug sleep 6;隔几秒后session-2执行一个简单的set a b的命令。

2、2个sessions的命令执行完成后,查看redis slowlog记录的命令耗时(slowlog-log-slower-than设置0)

session1:
rendeMacBook-Pro:~ rentom$ redis-cli
127.0.0.1:6379> debug sleep 6
OK
(6.00s)
session2:
127.0.0.1:6379> set name tom
OK
(5.14s)
127.0.0.1:6379> slowlog get
1) 1) (integer) 15
 2) (integer) 1538980614
 3) (integer) 4
 4) 1) "set"
 2) "name"
 3) "tom"
 5) "127.0.0.1:53738"
 6) ""
2) 1) (integer) 14
 2) (integer) 1538980614
 3) (integer) 6001061
 4) 1) "debug"
 2) "sleep"
 3) "6"
 5) "127.0.0.1:53737"
 6) ""

2.2 测试结论

1、从redis响应时间监控(min列),可见set name tom命令耗时5.14s;

但从redis slowlog中查看set name tom命令耗时为4微秒,可见slowlog没有记录set命令排队延迟等待的时间。

2、因Redis是单线程模型,debug sleep阻塞了set命令,set命令的整体响应时间(R)是5.14S,而其服务时间(S)为4微秒,排队延迟(Q)约为5.14秒。

三、Redis Single-threads的问题

Redis Server是单线程的处理(bgsave或aof重写时会Fork子进程处理),同一时间只能处理一个命令,并且是同步完成的。

从上节的测试中可见,set命令服务时间只有4微秒,但被debug sleep 6命令阻塞后,响应时间变成5.14秒。

所以RD和DBA在设计keyspace和访问模式时,应尽量避免使用耗时较大的命令

在理想状态下,Redis单实例能处理8~10w的QPS, 如果大量的redis命令大量耗时大于1ms, 其实QPS只能达到1000基于几百。

Redis出现耗时大的命令,导致其他所有请求被阻塞等待,redis处理能力急剧退化,易导致整个服务链雪崩。

相关推荐

订单超时自动取消业务的 N 种实现方案,从原理到落地全解析

在分布式系统架构中,订单超时自动取消机制是保障业务一致性的关键组件。某电商平台曾因超时处理机制缺陷导致日均3000+订单库存锁定异常,直接损失超50万元/天。本文将从技术原理、实现细节、...

使用Spring Boot 3开发时,如何选择合适的分布式技术?

作为互联网大厂的后端开发人员,当你满怀期待地用上SpringBoot3,准备在项目中大显身手时,却发现一个棘手的问题摆在面前:面对众多分布式技术,究竟该如何选择,才能让SpringBoot...

数据库内存爆满怎么办?99%的程序员都踩过这个坑!

你的数据库是不是又双叒叕内存爆满了?!服务器监控一片红色警告,老板在群里@所有人,运维同事的电话打爆了手机...这种场景是不是特别熟悉?别慌!作为一个在数据库优化这条路上摸爬滚打了10年的老司机,今天...

springboot利用Redisson 实现缓存与数据库双写不一致问题

使用了Redisson来操作Redis分布式锁,主要功能是从缓存和数据库中获取商品信息,以下是针对并发时更新缓存和数据库带来不一致问题的解决方案1.基于读写锁和删除缓存策略在并发更新场景下,...

外贸独立站数据库炸了?对象缓存让你起死回生

上周黑五,一个客户眼睁睁看着服务器CPU飙到100%——每次页面加载要查87次数据库。这让我想起2024年Pantheon的测试:Redis缓存能把WooCommerce查询速度提升20倍。跨境电商最...

手把手教你在 Spring Boot3 里纯编码实现自定义分布式锁

为什么要自己实现分布式锁?你是不是早就受够了引入各种第三方依赖时的繁琐?尤其是分布式锁这块,每次集成Redisson或者Zookeeper,都得额外维护一堆配置,有时候还会因为版本兼容问题头疼半...

如何设计一个支持百万级实时数据推送的WebSocket集群架构?

面试解答:要设计一个支持百万级实时数据推送的WebSocket集群架构,需从**连接管理、负载均衡、水平扩展、容灾恢复**四个维度切入:连接层设计-**长连接优化**:采用Netty或Und...

Redis数据结构总结——面试最常问到的知识点

Redis作为主流的nosql存储,面试时经常会问到。其主要场景是用作缓存,分布式锁,分布式session,消息队列,发布订阅等等。其存储结构主要有String,List,Set,Hash,Sort...

skynet服务的缺陷 lua死循环

服务端高级架构—云风的skynet这边有一个关于云风skynet的视频推荐给大家观看点击就可以观看了!skynet是一套多人在线游戏的轻量级服务端框架,使用C+Lua开发。skynet的显著优点是,...

七年Java开发的一路辛酸史:分享面试京东、阿里、美团后的心得

前言我觉得有一个能够找一份大厂的offer的想法,这是很正常的,这并不是我们的饭后谈资而是每个技术人的追求。像阿里、腾讯、美团、字节跳动、京东等等的技术氛围与技术规范度还是要明显优于一些创业型公司...

mysql mogodb es redis数据库之间的区别

1.MySQL应用场景概念:关系型数据库,基于关系模型,使用表和行存储数据。优点:支持ACID事务,数据具有很高的一致性和完整性。缺点:垂直扩展能力有限,需要分库分表等方式扩展。对于复杂的查询和大量的...

redis,memcached,nginx网络组件

1.理解阻塞io,非阻塞io,同步io,异步io的区别2.理解BIO和AIO的区别io多路复用只负责io检测,不负责io操作阻塞io中的write,能写多少是多少,只要写成功就返回,譬如准备写500字...

SpringBoot+Vue+Redis实现验证码功能

一个小时只允许发三次验证码。一次验证码有效期二分钟。SpringBoot整合Redis...

AWS MemoryDB 可观测最佳实践

AWSMemoryDB介绍AmazonMemoryDB是一种完全托管的、内存中数据存储服务,专为需要极低延迟和高吞吐量的应用程序而设计。它与Redis和Memcached相似,但具有更...

从0构建大型AI推荐系统:实时化引擎从工具到生态的演进

在AI浪潮席卷各行各业的今天,推荐系统正从幕后走向前台,成为用户体验的核心驱动力。本文将带你深入探索一个大型AI推荐系统从零起步的全过程,揭示实时化引擎如何从单一工具演进为复杂生态的关键路径。无论你是...

取消回复欢迎 发表评论: