百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

千万级任务延迟队列的实现方案

mhr18 2024-11-27 12:09 16 浏览 0 评论

延迟任务在电商的业务下使用的场景还是非常多的,比如订单下单未支付的取消时间、定时确认收货以及促销活动提醒等,目前实现这块的方案也有好些。

1、基于纯内存的DelayQueue

2、基于中间件的消息队列延迟消息的方式,主流的消息队列如Rocketmq、Rabbitmq都这方面的方案

3、基于Redis作为存储的实现方式,而基于Redis作为存储又分为两派,一派以sorted set作为数据结构,另一派以List作为数据结构,很多大厂都是基于此方案。

4、基于Key-Value的RocksDB作为数据存储实现延迟任务队列。

本文主要是基于Redis为存储方式去实现千万级的任务延迟队列的方式,会从架构层面较为系统的去介绍,主要的实现思路来源于Rocketmq的延迟队列+死信队列的方式。

一、整体设计

从整体来看,主要分为四块:任务池、执行任务池、重试任务池以及死信任务池。

任务池:主要是存储还未即将进行执行的任务,这个主要的数据存储结构为SortSet,按照执行时间的绝对长短进行排序

执行任务池:存储的是接近要执行的任务,这个主要数据存储结构为List,采用LIst的FIFO的方式去消费执行。

重试任务池:存储的是处于重试次数范围内的任务

死信任务池:存储的是经过了重试最大次数后,依然没有办法执行成功的任务。

一个任务可能会经过从任务池-》执行任务池-》重试任务池-》死信任务池这几个阶段。

二、任务写入

当任务写入时,会产生一个JobId,随机分配一个Queue,这个Queue 主要是将任务进行打散,可以增加一些负载均衡的一些算法来决定是否那个Queue,这个jobid会由时间戳、延迟秒数以及随机数组成。

任务的Key :{queue}/{Jobid}

之后在根据延迟时间来决定是放到Ready pool还是放在Job Pool里面。

  • delay = 0,表示不需要延时则直接写到 Ready Pool queue为list 数据结构
  • delay = n(n > 0),表示需要延时,将延时加上当前系统时间作为绝对时间戳写到SortSet

正是利用了Redis SortSet的排序特点,再通过其他线程轮询的方式将即将过期的任务从Job Pool 转移到Ready Pool中去。

三、任务消费

当业务从Job Pool 转移到Ready Pool中去之后,就可以通过消费Ready Pool的List 采用RPOP的方式进行任务消费,将从Pool池中取出任务,再将任务发送给消费者,同时进行重试次数-1,直到重试次数为零,即将任务转存至Retry Pool。

这里有两个点需要特别注意:

1、因为Redis List 通过RPOP进行弹出时,此时Pool将不在有该任务,因此需将任务转存至其他地方,等待业务执行完回调。

2、任务重试的策略需要进行设计,否则会出现一个任务阻塞一个队列的这种情况,要尽可能避免这种情况的出现,如未进行考虑,将会出现极端情况,整个Ready Pool 消费直接崩溃。

四、任务消费如何进行伸缩

当任务出现较多时会出现List 较长,从而导致执行效率退化,从而导致整体消费吞吐变低,在这里可以参考Rocketmq的消费模型,动态的去调整Queue的方式,去提升消费端的速率,从而增大消费侧的吞吐。

相关推荐

B站收藏视频失效?mybili 收藏夹备份神器完整部署指南

本内容来源于@什么值得买APP,观点仅代表作者本人|作者:羊刀仙很多B站用户都有过类似经历:自己精心收藏的视频突然“消失”,点开一看不是“已被删除”,就是“因UP主设置不可见”。而B站并不会主动通知...

中间件推荐初始化配置

Redis推荐初始化配置bind0.0.0.0protected-modeyesport6379tcp-backlog511timeout300tcp-keepalive300...

Redis中缓存穿透问题与解决方法

缓存穿透问题概述在Redis作为缓存使用时,缓存穿透是常见问题。正常查询流程是先从Redis缓存获取数据,若有则直接使用;若没有则去数据库查询,查到后存入缓存。但当请求的数据在缓存和数据库中都...

后端开发必看!Redis 哨兵机制如何保障系统高可用?

你是否曾在项目中遇到过Redis主服务器突然宕机,导致整个业务系统出现数据读取异常、响应延迟甚至服务中断的情况?面对这样的突发状况,作为互联网大厂的后端开发人员,如何快速恢复服务、保障系统的高可用...

Redis合集-大Key处理建议

以下是Redis大Key问题的全流程解决方案,涵盖检测、处理、优化及预防策略,结合代码示例和最佳实践:一、大Key的定义与风险1.大Key判定标准数据类型大Key阈值风险场景S...

深入解析跳跃表:Redis里的"老六"数据结构,专治各种不服

大家好,我是你们的码农段子手,今天要给大家讲一个Redis世界里最会"跳科目三"的数据结构——跳跃表(SkipList)。这货表面上是个青铜,实际上是个王者,连红黑树见了都要喊声大哥。...

Redis 中 AOF 持久化技术原理全解析,看完你就懂了!

你在使用Redis的过程中,有没有担心过数据丢失的问题?尤其是在服务器突然宕机、意外断电等情况发生时,那些还没来得及持久化的数据,是不是让你夜不能寐?别担心,Redis的AOF持久化技术就是...

Redis合集-必备的几款运维工具

Redis在应用Redis时,经常会面临的运维工作,包括Redis的运行状态监控,数据迁移,主从集群、切片集群的部署和运维。接下来,从这三个方面,介绍一些工具。先来学习下监控Redis实时...

别再纠结线程池大小 + 线程数量了,没有固定公式的!

我们在百度上能很轻易地搜索到以下线程池设置大小的理论:在一台服务器上我们按照以下设置CPU密集型的程序-核心数+1I/O密集型的程序-核心数*2你不会真的按照这个理论来设置线程池的...

网络编程—IO多路复用详解

假如你想了解IO多路复用,那本文或许可以帮助你本文的最大目的就是想要把select、epoll在执行过程中干了什么叙述出来,所以具体的代码不会涉及,毕竟不同语言的接口有所区别。基础知识IO多路复用涉及...

5分钟学会C/C++多线程编程进程和线程

前言对线程有基本的理解简单的C++面向过程编程能力创造单个简单的线程。创造单个带参数的线程。如何等待线程结束。创造多个线程,并使用互斥量来防止资源抢占。会使用之后,直接跳到“汇总”,复制模板来用就行...

尽情阅读,技术进阶,详解mmap的原理

1.一句话概括mmapmmap的作用,在应用这一层,是让你把文件的某一段,当作内存一样来访问。将文件映射到物理内存,将进程虚拟空间映射到那块内存。这样,进程不仅能像访问内存一样读写文件,多个进程...

C++11多线程知识点总结

一、多线程的基本概念1、进程与线程的区别和联系进程:进程是一个动态的过程,是一个活动的实体。简单来说,一个应用程序的运行就可以被看做是一个进程;线程:是运行中的实际的任务执行者。可以说,进程中包含了多...

微服务高可用的2个关键技巧,你一定用得上

概述上一篇文章讲了一个朋友公司使用SpringCloud架构遇到问题的一个真实案例,虽然不是什么大的技术问题,但如果对一些东西理解的不深刻,还真会犯一些错误。这篇文章我们来聊聊在微服务架构中,到底如...

Java线程间如何共享与传递数据

1、背景在日常SpringBoot应用或者Java应用开发中,使用多线程编程有很多好处,比如可以同时处理多个任务,提高程序的并发性;可以充分利用计算机的多核处理器,使得程序能够更好地利用计算机的资源,...

取消回复欢迎 发表评论: