基于 Redis 实现的简易分布式滑动窗口组件
mhr18 2025-08-01 18:43 3 浏览 0 评论
1. 背景目标
近期运营团队反馈,飞书消息接收者出现明显的消息疲劳现象。经分析发现,各业务消息的发送必要性需结合具体场景判断,仅依靠发送量无法准确识别冗余消息。
为了解决这种消息疲劳问题,除了从业务层面进行规范外,还可以从技术角度出发,通过滑动窗口限流机制来控制消息发送频率
2. 滑动窗口理解
结合飞书消息场景,用图的方式进一步理解滑动窗口。
例如:x 轴表示时间,单位为秒。下图是从第1秒到第15秒,绿色表示发送给某一个人的消息时刻。
那么如何定义发送消息是否频率过高呢?
#技术分享在 TCP 网络传输中,采用滑动窗口来控制流量。(下图为网络传输)
那么也可以按照这种思想,将窗口大小定位为 5s。在窗口5s 内,最多接收1条消息,如果多了就表示接收频率过高了。
时间:1-5s,接收到 1 条消息,频率合理
时间:2-6s,接收到 2 条消息,超过 1 条,频率不合理。
时间:4-8s, 接收到 2 条消息,超过 1 条,频率不合理。
时间:7-11s, 接收到 2 条消息,超过 1 条,频率不合理。
以5秒为时间窗口,最多仅允许接收1条消息。第6秒、第8秒、第11秒的发送行为被判定为频率过高。
我们继续以5秒窗口、最多1条消息的规则为例,给出一个符合该规则的健康发送时间序列(只要在任意时间窗口内只包含1条消息即可,图中粉色标记为发送时刻)
通过动态滑动的5秒窗口进行持续检测,确保任意连续5秒内消息不超过1条,即可实现平滑的消息控制。
3. 场景应用
这样的场景还有很多,举一些例子。
| 场景情况举例 | 规则抽象 | | ---
| 最近1小时,最多收到1条飞书消息 | 窗口:1h,阈值:1 | | 最近1天,最多重试3次 | 窗口:1d,阈值:3 | | 最近1h,如果发生3次,则发出警告 | 窗口: 1h, 阈值:3 | | ...... | ...... |
通过场景抽象,编写了一套简易的 API 以支持上面场景。
4. API规范
该 API 规范基于 Redis 底层接口实现,提供了一套简易的滑动窗口限流机制。下面是简易流程图:根据唯一 Key,内部生成一个计数器。每次请求,会判断计数是否达到阈值。
详细接口如下:
public interface SlidingWindowLimitService {
boolean calculate(String key, long windowLenInSeconds, long threshold);
boolean calculate(String key, String scene); }
核心 API 能力 :boolean calculate(String key, long windowLenInSeconds, long threshold) ;
- key: 业务场景唯一标准,比如xxx模版下的飞书消息发送
- windowLenInSeconds:时间窗口大小,单位秒
- threshold:阈值
--- 使用案例:给用户 A 发送告警消息,窗口1h 小时,最多收到2条。
- key:user_id_123_ alarm
- windowLenInSeconds:3600
- threshold:2
当在窗口1h 内,如果达到3次,boolean 返回值为 false。业务可以根据 false 这个接口阻止消息的发送。
--- 命名建议: Key 采用"业务模块:用户标识:场景"结构(例:
alert:user123:high_priority)
boolean calculate(String key, String scene); scene 目前封装了场景。可以从 nacos 中动态配置规则。
--- 补充部分细节
基于 Redis 中 ZSet 实现滑动窗口机制
- 每次发送消息时,将当前时间戳插入ZSet;
- 删除窗口外的旧时间戳;
- 判断当前窗口内元素数量是否超过阈值
更多细节可以参考上一篇文章:juejin.cn/post/733954…
5. 如何使用
该项目是一个 Spring Boot Starter 模块,可作为公共依赖引入使用。
**特别注意:该项目依赖 RedisTemplate,需要配置 redis,如果需要使用 scene,需要添加 nacos **
使用案例如下:
@RestController
@RequestMapping("/test")
public class SlidingWindowLimitTestController {
@Autowired private SlidingWindowLimitService slidingWindowLimitService;
@GetMapping("/calculate") public boolean slidingWindowCalculate(@RequestParam("key") String key, @RequestParam("scene") String scene) { return slidingWindowLimitService.calculate(key, scene); }
@GetMapping("/calculateLimit") public boolean slidingWindowCalculate(@RequestParam("key") String key, @RequestParam("windowLenInSeconds") long windowLenInSeconds, @RequestParam("threshold") long threshold ) { return slidingWindowLimitService.calculate(key, windowLenInSeconds, threshold); } }
使用案例参考:module: sliding-window-starter 代码地址:github.com/uzong/slidi…
6. 注意事项
- 本SDK依赖Redis,请确保Redis服务可用。(如果使用 ZSet 的计算压力过高,会再单独申请一个 Redis 实例,专职专用)
- 合理设置时间窗口和阈值,避免过度限制正常用户
- key 的命名应尽量添加业务前缀,以提升唯一性,确保全局唯一
- 滑动窗口不同于固定窗口,它会随着时间进行滑动。滑动窗口对时间更敏感,能避免“窗口边缘突增”问题
7. 补充细节
redis 中 zset 的部分 API 的时间复杂度
- ZADD:时间复杂度:O(M*log(N)),其中 M 是成功添加的成员数,N 是有序集合的基数
- ZRANGEBYSCORE:时间复杂度:O(log(N)+M),其中 N 是有序集合的基数,M 是符合条件的成员数量
- ZSCAN:迭代有序集合中的元素。时间复杂度:O(1) 随着迭代次数的增加而增加
相关推荐
- Java面试题及答案总结(2025版)
-
大家好,我是Java面试陪考员最近很多小伙伴在忙着找工作,给大家整理了一份非常全面的Java面试题及答案。涉及的内容非常全面,包含:Redis、Linux、SpringBoot、Spring、MySQ...
- Java面试题及答案最全总结(2025春招版)
-
大家好,我是Java面试分享最近很多小伙伴在忙着找工作,给大家整理了一份非常全面的Java面试题及答案。涉及的内容非常全面,包含:Spring、MySQL、JVM、Redis、Linux、Spring...
- Java面试题及答案最全总结(2025版持续更新)
-
大家好,我是Java面试陪考员最近很多小伙伴在忙着找工作,给大家整理了一份非常全面的Java面试题及答案。涉及的内容非常全面,包含:Spring、MySQL、JVM、Redis、Linux、Sprin...
- 蚂蚁金服面试题(附答案)建议收藏:经典面试题解析
-
前言最近编程讨论群有位小伙伴去蚂蚁金服面试了,以下是面试的真题,跟大家一起来讨论怎么回答。点击上方“捡田螺的小男孩”,选择“设为星标”,干货不断满满1.用到分布式事务嘛?为什么用这种方案,有其他方案...
- 测试工程师面试必问的十道题目!全答上来的直接免试
-
最近参加运维工程师岗位的面试,笔者把自己遇到的和网友分享的一些常见的面试问答收集整理出来了,希望能对自己和对正在准备面试的同学提供一些参考。一、Mongodb熟悉吗,一般部署几台?部署过,没有深入研究...
- 10次面试9次被刷?吃透这500道大厂Java高频面试题后,怒斩offer
-
很多Java工程师的技术不错,但是一面试就头疼,10次面试9次都是被刷,过的那次还是去了家不知名的小公司。问题就在于:面试有技巧,而你不会把自己的能力表达给面试官。应届生:你该如何准备简历,面试项目和...
- java高频面试题整理
-
【高频常见问题】1、事务的特性原子性:即不可分割性,事务要么全部被执行,要么就全部不被执行。一致性或可串性:事务的执行使得数据库从一种正确状态转换成另一种正确状态隔离性:在事务正确提交之前,不允许把该...
- 2025 年最全 Java 面试题,京东后端面试面经合集,答案整理
-
最近京东搞了个TGT计划,针对顶尖青年技术天才,直接宣布不设薪资上限。TGT计划面向范围包括2023年10月1日到2026年9月30日毕业的海内外本硕博毕业生。时间范围还...
- idGenerator测评
-
工作中遇到需要生成随机数的需求,看了一个个人开发的基于雪花算法的工具,今天进行了一下测评(测试)。idGenerator项目地址见:https://github.com/yitter/IdGenera...
- 2024年开发者必备:MacBook Pro M1 Max深度体验与高效工作流
-
工作机器我使用的是一台16英寸的MacBookProM1Max。这台电脑的表现堪称惊人!它是我用过的最好的MacBook,短期内我不打算更换它。性能依然出色,即使在执行任务时也几乎听不到风扇的...
- StackOverflow 2022 年度调查报告
-
一个月前,StackOverflow开启了2022年度开发者调查,历时一个半月,在6月22日,StackOverflow正式发布了2022年度开发者调查报告。本次报告StackO...
- 这可能是最全面的SpringDataMongoDB开发笔记
-
MongoDB数据库,在最近使用越来越广泛,在这里和Java的开发者一起分享一下在Java中使用Mongodb的相关笔记。希望大家喜欢。关于MongoDB查询指令,请看我的上一篇文章。SpringD...
- Mac M2 本地部署ragflow
-
修改配置文件Dockerfile文件ARGNEED_MIRROR=1//开启国内镜像代理docker/.envREDIS_PORT=6380//本地redis端口冲突RAGFLOW_IMA...
- 别再傻傻分不清!localhost、127.0.0.1、本机IP,原来大有讲究!
-
调试接口死活连不上?部署服务队友访问不了?八成是localhost、127.0.0.1、本机IP用混了!这三个看似都指向“自己”的东西,差之毫厘谬以千里。搞不清它们,轻则调试抓狂,重则服务裸奔。loc...
- 我把 Mac mini 托管到机房了:一套打败云服务器的终极方案
-
我把我积灰的Macmini托管到机房了,有图有真相。没想到吧?一台在家吃灰的苹果电脑,帮我省了大钱!对,就是控制了自己的服务器,省了租用云服务器的钱,重要数据还全捏在自己手里,这感觉真爽。你可...
你 发表评论:
欢迎- 一周热门
-
-
Redis客户端 Jedis 与 Lettuce
-
高并发架构系列:Redis并发竞争key的解决方案详解
-
redis如何防止并发(redis如何防止高并发)
-
Java SE Development Kit 8u441下载地址【windows版本】
-
开源推荐:如何实现的一个高性能 Redis 服务器
-
redis安装与调优部署文档(WinServer)
-
Redis 入门 - 安装最全讲解(Windows、Linux、Docker)
-
一文带你了解 Redis 的发布与订阅的底层原理
-
Redis如何应对并发访问(redis控制并发量)
-
Oracle如何创建用户,表空间(oracle19c创建表空间用户)
-
- 最近发表
- 标签列表
-
- oracle位图索引 (74)
- oracle批量插入数据 (65)
- oracle事务隔离级别 (59)
- oracle主从同步 (56)
- oracle 乐观锁 (53)
- redis 命令 (83)
- php redis (97)
- redis 存储 (67)
- redis 锁 (74)
- 启动 redis (73)
- redis 时间 (60)
- redis 删除 (69)
- redis内存 (64)
- redis并发 (53)
- redis 主从 (71)
- redis同步 (53)
- redis结构 (53)
- redis 订阅 (54)
- redis 登录 (62)
- redis 面试 (58)
- redis问题 (54)
- 阿里 redis (67)
- redis的缓存 (57)
- lua redis (59)
- redis 连接池 (64)