记一次redis命令超时问题处理及思考

摘要：

本文详细描述redis命令超时问题分析处理过程，并对此问题原因进行了详细分析，最终找到根因并制定解决方案恢复系统正常。

通过总结本次案例遇到的问题，为其他应用系统故障排除提供参考，并思考总结了运维工作中需要改进的地方。

关键词：redis 超时 内存

案例正文：

1、 背景Situation

Redis是我们应用系统常见的一种开源中间件，常用于做数据缓存、保持会话链接等方面。A系统也使用redis，把热点数据存储在其中，加快数据返回的速度，从而提升用户体验。Redis 为cluster集群模式部署，三个节点，应用系统中各个应用都共用一套redis，应用与redis的调用关系如下：

2、 事件描述及问题Task

2024年7月19日，移动门户业务群中反馈A系统的某个功能使用起来特别的慢，而且不是个例，由于我们这个功能需要连接阿里云，经验证排除现地网络限制，确认应用确实出现问题。

3、 分析与对策Action

3.1、故障定位

根据用户功能反馈描述以及系统架构，定位为APP2引起的故障。

• 登录zabbix监控系统，查看APP2的cpu、内存关键性能指标等信息，发现一切正常，排除由于资源不足导致应用性能下降。
• 查看应用日志，通过日志发现有报错信息，报错如图3-1，看字面意思，是由于执行了redis的命令，长时间未返回导致超时，那现在问题又到了redis。

• 查看redis相关信息，集群没有宕机过（图3-2），CPU、内存使用正常（图3-3 3-4），也没有到达最大链接数（图3-5），最大链接数默认10000。

• 由于应用报错redis的问题，那通过日志继续排查，最终终于看到了一丝迹象:output buffer limits。

• 由于其他app也连接redis，功能正常。那基本确认app2 在使用redis时导致故障。

3.2、根因分析

对于Redis服务器命令的返回，其大小一般是不可控制的。有可能一个非常简单的指令，就能够产生体积庞大的返回数据量。另外也有可能因为执行了太多指令，导致产生返回数据的速率超过了往客户端发送的速率，这是也会导致服务器堆积大量消息，从而导致输出缓冲区越来越大，占用过多内存，以至于导致系统崩溃。

万幸的是Redis设置了一些保护机制来避免这种情况的出现，不同类型的客户端有不同的限制参数。限制方式有如下两种：

? 大小限制，当某一个客户端的缓冲区超过某一个大小值时，直接关闭这个客户端的连接；

? 持续性限制，当某一个客户端的缓冲区持续一段时间占用过大空间时，会直接关闭客户端连接。

配置文件关于客户端输出缓冲区的配置如下：

后面三个参数分别表示 最大限制 最小限制 最小限制的持续时间，不同客户端有不同策略，策略如下：

对于普通客户端来说，限制为0，也就是不限制。因为普通客户端通常采用阻塞式的消息应答模式，何谓阻塞式呢？如：发送请求，等待返回，再发送请求，再等待返回。这种模式下，通常不会导致Redis服务器输出缓冲区的堆积膨胀；

对于Pub/Sub客户端（也就是发布/订阅模式），大小限制是8M，当输出缓冲区超过8M时，会关闭连接。持续性限制是，当客户端缓冲区大小持续60秒超过2M，则关闭客户端连接；

对于slave客户端来说，大小限制是256M，持续性限制是当客户端缓冲区大小持续60秒超过64M，则关闭客户端连接。

本次故障很显然是app2应用触发了redis返回数据的大小限制，从而导致超时。

3.3、故障解决方案

临时修改redis配置，加大返回数据限制的数值。

4、 处理结果Result

• 通过命令，临时加大返回数据限制的数值，未写入配置文件，redis重启后失效；
• 优化APP2应用，减少数据的返回；
• 待应用优化上线后，通过命令，改回redis默认配置。

5、 建议与讨论Review

本次问题主要是应用请求数据过大，触发了redis的限制导致。在此也是跟我们提了个醒，在使用redis的时候应该遵循以下规则：

• 合理选择数据类型：

Redis 提供了多种数据结构，如字符串（string）、哈希（hash）、列表（list）、集合（set）、有序集合（sorted set）等。根据实际需求选择合适的数据结构可以提高存储效率和操作性能。例如，如果要存储对象，可以考虑使用哈希结构，将对象的属性作为哈希的字段进行存储；如果要实现消息队列，可以使用列表结构。

• 避免过度使用复杂数据结构

虽然 Redis 提供了丰富的数据结构，但过度使用复杂的数据结构可能会导致性能下降。在设计数据存储方案时，尽量保持数据结构的简洁性。例如，如果只需要存储简单的键值对，可以优先考虑使用字符串类型，而不是使用哈希结构来存储单个属性的键值对

• 定期清理过期数据

如果存储的数据设置了过期时间，Redis 会自动删除过期的数据。但是，如果过期数据较多，可能会影响性能。

• 避免存储大对象

尽量避免在 Redis 中存储大对象，因为大对象会占用较多的内存空间，并且在进行数据操作时可能会导致性能问题。如果需要存储大对象，可以考虑将其存储在外部存储系统中，如文件系统或数据库，并在 Redis 中存储对象的引用。

• 优化命令执行

在执行 Redis 命令时，尽量减少命令的执行次数和数据传输量。可以使用批量操作命令，如MSET、MGET等，一次性执行多个命令；可以使用PIPELINE命令将多个命令打包成一个请求发送给 Redis，减少网络开销。同时，避免在 Redis 中执行复杂的计算操作，如排序、聚合等，可以将这些操作在应用程序中进行，以提高性