监控最佳实践--redis及业务接口（redis qps监控）
mhr18 2024-11-08 12:16 40 浏览 0 评论
简介： 监控最佳实践--redis及业务接口
1. 背景
1.1 问题
2020-12-04，客户侧redis集群版监控DB0 CPU突增至100%，导致数据库无法正常服务，经排查客户侧业务上存在2M左右的大key导致DB0阻塞。并且客户侧使用的集群连接方式为默认proxy模式，如下图所示，DB0阻塞导致其他节点也无法正常服务；处理办法：客户侧配合切断大key业务的高频繁次调用，请求恢复。
1.2 思考
此次问题导致客户侧课程报名入口严重受损，进而引发深度思考。在使用redis等产品方面的监控报警手段不够完善，不够仔细，并且后续再查看业务日志发现错误率已经逐渐增多，直至redis层面表现出来才get到问题所在。针对此次redis的大key问题，给客户提供了关于大key以及热点key的分析办法，并建议完善客户侧监控报警的可读性以及业务日志接口的错误告警。
2. 数据库监控分析
2.1 redis监控指标分享
redis集群版云监控指标如下表所示。
监控项 | 单位 | MetricName | Dimensions | Statistics |
平均响应时间 | us | ShardingAvgRt | userId、instanceId、nodeId | Average、Maximum |
连接数使用率 | % | ShardingConnectionUsage | userId、instanceId、nodeId | Average、Maximum |
CPU使用率 | % | ShardingCpuUsage | userId、instanceId、nodeId | Average、Maximum |
命中率 | % | ShardingHitRate | userId、instanceId、nodeId | Average、Maximum |
入方向流量 | KByte/s | ShardingIntranetIn | userId、instanceId、nodeId | Average、Maximum |
流入带宽使用率 | % | ShardingIntranetInRatio | userId、instanceId、nodeId | Average、Maximum |
出方向流量 | KByte/s | ShardingIntranetOut | userId、instanceId、nodeId | Average、Maximum |
流出带宽使用率 | % | ShardingIntranetOutRatio | userId、instanceId、nodeId | Average、Maximum |
缓存内Key数量 | 个 | ShardingKeys | userId、instanceId、nodeId | Average、Maximum |
最大响应时间 | us | ShardingMaxRt | userId、instanceId、nodeId | Average、Maximum |
内存使用率 | % | ShardingMemoryUsage | userId、instanceId、nodeId | Average、Maximum |
QPS使用率 | % | ShardingQPSUsage | userId、instanceId、nodeId | Average、Maximum |
已用连接数 | 个 | ShardingUsedConnection | userId、instanceId、nodeId | Average、Maximum |
内存使用量 | Bytes | ShardingUsedMemory | userId、instanceId、nodeId | Average、Maximum、Sum |
平均每秒访问次数 | 个 | ShardingUsedQPS | userId、instanceId、nodeId | Average、Maximum |
2.2 redis大key分析
1.在控制台选择对应的实例，进行大key及Hot key分析处理。
2.利用API接口进行分析大 key以及Hot key。
缓存分析与热点Key查询可参考文后资料了解详情[1]。
2.3 数据库同环比监控
创建分组报警规则目前已更新至分组界面。
2.3.1 创建应用分组
2.3.2 创建报警规则
3. 日志监控
利用sls接入客户端日志，可以通过设定规则建立仪表盘以及实现报警。此方案日志接入采取logtail方式内网传输。
3.1 安装logtail
安装logtail方法可参考文后资料[2]。
3.2 创建project和logstore
登录日志服务控制台，依次创建对应地域的project及logstore。
3.3 数据接入向导
此次客户侧日志格式分别为json、log4j。
3.3.1 json
选择json文本日志>选择现有机器组>对应logtail配置
1.设置索引
对于多重json日志，需要将字段类型更改为json。
2.查询分析
3.3.2 log4j
选择正则文本日志>选择现有机器组>对应logtail配置
1.正则识别首行
2.提取字段
3.设置索引
注意：只对新写入数据生效。
4.查询分析
3.4 日志报警
3.4.1 仪表盘
3.4.2 报警
在仪表右上侧导航栏中单击告警，在下拉菜单中选择创建。
作者：SRE团队技术小编-小凌
本文为阿里云原创内容，未经允许不得转载
相关推荐
- Redis教程——数据类型(字符串、列表)
-
上篇文章我们学习了Redis教程——Redis入门，这篇文章我们学习Redis教程——数据类型（字符串、列表）。Redis数据类型有：字符串、列表、哈希表、集合、有序集合、地理空间、基数统计、位图、位...
- 说说Redis的数据类型（redis数据类型详解）
-
一句话总结Redis核心数据类型包括：String：存储文本、数字或二进制数据。List：双向链表，支持队列和栈操作。Hash：字段-值映射，适合存储对象。Set：无序唯一集合，支持交并差运算。Sor...
- Redis主从复制（Redis主从复制复制文件）
-
介绍Redis有两种不同的持久化方式，Redis服务器通过持久化，把Redis内存中持久化到硬盘当中，当Redis宕机时，我们重启Redis服务器时，可以由RDB文件或AOF文件恢复内存中的数据。不过...
- 深入解析 Redis 集群的主从复制实现方式
-
在互联网大厂的后端开发领域，Redis作为一款高性能的内存数据库，被广泛应用于缓存、消息队列等场景。而Redis集群中的主从复制机制，更是保障数据安全、实现读写分离以及提升系统性能的关键所在。今...
- Redis + MQ:高并发秒杀的技术方案与实现
-
大家好，我是一安~前言在电商秒杀场景中，瞬间爆发的海量请求往往成为系统的生死考验。当并发量达到数万甚至数十万QPS时，传统数据库单表架构难以支撑，而Redis与消息队...
- Redis面试题2025（redis面试题及答案2024）
-
Redis基础什么是Redis？它的主要特点是什么？Redis和Memcached有什么区别？Redis支持哪些数据类型？Redis的字符串类型最大能存储多少数据？Redis的列表类型和集合类型有什么...
- Redis学习笔记:过期键管理与EXPIRE命令详解(第七章)
-
在Redis中，过期键（ExpireKey）机制是实现缓存自动失效、临时数据管理的核心功能。EXPIRE命令作为设置键过期时间的基础工具，其工作原理与使用细节直接影响系统的内存效率和数据一致性。本章...
- Redis传送术:几分钟内将生产数据迁移到本地
-
在生产环境中使用Redis就像一把双刃剑。它快速、强大，存储了大量实时数据——但当你想要在本地调试问题或使用真实数据进行测试时，事情就变得棘手了。我们要做什么？我们想要从生产环境Redis实例中导出键...
- 使用redis bitmap计算日活跃用户数
-
Metrics(指标)在允许延迟的情况下，通常通过job任务定时执行（如按小时、每天等频率），而基于Redis的Bitmap使我们能够实时完成此类计算，且极其节省空间。以亿级用户计算“日活跃用户...
- 大部分.NET开发者都不知道的Redis性能优化神技!
-
你还在为Redis存储空间不够而发愁吗？还在为Json数据太大导致网络传输缓慢而头疼吗？今天我要告诉你一个让Redis性能飙升300%的秘密武器！这个技巧简单到让你怀疑人生，但效果却强大到让你的老板对...
- Redis学习笔记:内存优化实战指南(第六章)
-
Redis作为内存数据库，内存使用效率直接影响系统性能与成本。对于处理大规模数据的场景，合理的内存优化能显著降低资源消耗，提升服务稳定性。本章将基于Redis的内存管理特性，详解实用的优化技巧与最佳实...
- 大数据-47 Redis 内存控制、Key 过期与数据...
-
点一下关注吧！！！非常感谢！！持续更新！！！AI篇持续更新中！（长期更新）AI炼丹日志-30-新发布【1T万亿】参数量大模型！Kimi-K2开源大模型解读与实践，持续打造实用AI工具指南！...
- Redis学习笔记:内存优化进阶与实战技巧(第六章·续)
-
上一节我们介绍了Redis内存优化的基础策略，本节将深入更多实战技巧，包括数据结构的精细化选择、过期键的内存回收机制，以及大规模场景下的内存管理方案，帮助你在高并发场景下进一步提升内存利用率。七、数据...
- 低配服务器(2核3G)宝塔面板的Redis优化指南:512MB内存高效运行
-
在2核3G内存的低配服务器上部署Redis服务时，资源分配不当极易导致服务器崩溃。本文针对宝塔面板环境（PHP8.2+MariaDB10.6+Nginx），提供经过实战验证的Redis优化...
- Redis:为什么您应该多缓存少查询（为什么使用redis做缓存而不是其他的消息队列入kafka）
-
还在一次又一次地调用相同的API吗？这不仅效率低下——而且成本高昂。性能缓慢、成本更高，用户体验更差。让我们停止这种做法——从这篇文章开始。:D首先您需要了解Redis，简单来说，它是一个超快速的内存...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- oracle位图索引 (74)
- oracle批量插入数据 (65)
- oracle事务隔离级别 (59)
- oracle 空为0 (51)
- oracle主从同步 (56)
- oracle 乐观锁 (53)
- redis 命令 (83)
- php redis (97)
- redis 存储 (67)
- redis 锁 (74)
- 启动 redis (73)
- redis 时间 (60)
- redis 删除 (69)
- redis内存 (64)
- redis并发 (53)
- redis 主从 (71)
- redis 订阅 (51)
- redis 登录 (54)
- redis 面试 (58)
- 阿里 redis (59)
- redis 搭建 (53)
- redis的缓存 (55)
- lua redis (58)
- redis 连接池 (61)
- redis 限流 (51)