百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

Redis key过期策略(redis过期时间策略)

mhr18 2024-11-06 10:48 40 浏览 0 评论

Redis所有的数据结构都可以设置过期时间,到期后,key会被自动删除。

Redis key过期的方式有三种:

  • 被动删除:当读/写一个已经过期的key时,会触发惰性删除策略,直接删除掉这个过期key
  • 主动删除:由于惰性删除策略无法保证冷数据被及时删掉,所以Redis会定期主动淘汰一批已过期的key
  • 当前已用内存超过maxmemory限定时,触发主动清理策略

被动删除

只有key被操作时(如GET),Redis才会被动检查该key是否过期,过期就删除,并返回NULL。

这种删除策略对CPU友好,不会在删除上浪费无谓的CPU时间。然而这种策略对内存不友好,一个key已经过期,但是在它被操作之前不会被删除,仍然占据内存空间。如果系统中存在大量的不会被访问的数据,就会造成资源浪费。

主动删除

Redis会把有过期时间的key放在一个单独的字典里,默认每100ms检查,是否有过期的key,有过期的key则删除。

这里不是每100ms把所有key检查一次,而是随机抽取检查。典型的方式为,Redis每秒做10次如下的步骤:

  1. 随机测试100个设置了过期时间的key
  2. 删除所有发现的已过期的key
  3. 若删除的key超过25个则重复步骤1

这是一个基于概率的简单算法,基本的假设是抽出的样本能够代表整个key空间,Redis持续清理过期的数据直至将要过期的key的百分比降到了25%以下。这也意味着在任何给定的时刻已经过期但仍占据着内存空间的key的量最多为每秒的写操作量除以4。

除了主动淘汰的频率外,Redis对每次淘汰任务执行的最大时长也有一个限定,这样保证了每次主动淘汰不会过多阻塞应用请求。

当Redis启用主从模式时,只有主结点执行上述这两种过期删除策略。主节点在key到期时,会在AOF文件里增加一条DEL指令,同步到所有的从节点,从节点通过执行这条del指令来删除过期的key。

主动清理

当Redis实例的内存超过设置的maxmemory时,会根据配置的策略maxmemory-policy来对key进行淘汰,可选的淘汰策略有如下几种:

  • noeviction:当内存使用达到阈值的时候,会堵塞所有申请内存的命令,可读,可执行del命令。
  • volatile-lru:当内存使用达到阈值的时候,会优先淘汰设置了过期时间且最近最少使用的key,未设置过期时间的key不会被淘汰。
  • volatile-ttl:当内存使用达到阈值的时候,会优先淘汰设置了过期时间且剩余过期时间ttl越小的key。
  • volatile-random:当内存使用达到阈值的时候,会随机淘汰设置了过期时间key。
  • allkeys-lru:当内存使用达到阈值的时候,针对所有的key按照最近最少使用原则进行淘汰。
  • allkeys-random:当内存使用达到阈值的时候,针对所有的key随机进行淘汰。

线上的所有Reids实例默认的淘汰策略为volatile-lru。

上述策略可以在redis.conf中配置。

其他处理key过期

生成RDB文件时

执行SAVEBGSAVE时,数据库键空间中的过期键不会被保存在RDB文件中。

载入RDB文件时

Master载入RDB时,文件中的未过期的键会被正常载入,过期键则会被忽略。 Slave载入RDB时,文件中的所有键都会被载入,当同步进行时,会和Master保持一致。

AOF文件写入时

数据库键空间的过期键的过期但并未被删除释放的状态会被正常记录到AOF文件中,当过期键发生释放删除时,DEL也会被同步到AOF文件中去。

重新生成AOF文件时

执行BGREWRITEAOF时 ,数据库键中过期的键不会被记录到AOF文件中

复制

Master删除过期key之后,会向所有Slave服务器发送一个DEL命令,从服务器收到之后,会删除这些key。

Slave在被动的读取过期键时,不会做出操作,而是继续返回该键,只有当Master发送DEL通知来,才会删除过期键,这是统一、中心化的键删除策略,保证主从服务器的数据一致性。

读写分离时出现数据不一致

由于Slave不会主动删除过期key,对于做了读写分离的业务,有可能导致从库读取到过期的脏数据。

代码如下:(5.0版本,在db.c中)

这是因为key的过期删除依赖于expireIfNeeded函数,这个函数在任何访问数据的操作中都会被调用并用来检测客户端访问的数据是否过期。

代码第一行就判断了是否过期,如果未过期,直接返回0。

已过期的情况下,如果当前数据库实例角色是Slave,则不进行key过期的删除操作,直接返回1;如果当前数据库实例角色是Master,则首先更新关于失效主键的统计个数,然后将该主键失效的信息进行广播,最后将该主键从Redis中删除。

如何避免

  1. 通过scan命令扫库:当Redis中的key被scan的时候,相当于访问了该key,同样也会做过期检测,充分发挥Redis惰性删除的策略。这个方法能大大降低了脏数据读取的概率,但缺点也比较明显,会造成一定的数据库压力,谨慎合理使用,否则有可能影响线上业务的效率。
  2. 升级Redis到新的版本:在redis 3.2-rc1版本中,增加了key是否过期以及对主从库的判断,如果key已过期,当前访问的是Master则返回NULL;当前访问的是从库,且执行的是只读命令也返回NULL(老版本从库真实的返回该操作的结果,如果该key过期后主库没有删除)。

相关推荐

【推荐】一个开源免费、AI 驱动的智能数据管理系统,支持多数据库

如果您对源码&技术感兴趣,请点赞+收藏+转发+关注,大家的支持是我分享最大的动力!!!.前言在当今数据驱动的时代,高效、智能地管理数据已成为企业和个人不可或缺的能力。为了满足这一需求,我们推出了这款开...

Pure Storage推出统一数据管理云平台及新闪存阵列

PureStorage公司今日推出企业数据云(EnterpriseDataCloud),称其为组织在混合环境中存储、管理和使用数据方式的全面架构升级。该公司表示,EDC使组织能够在本地、云端和混...

对Java学习的10条建议(对java课程的建议)

不少Java的初学者一开始都是信心满满准备迎接挑战,但是经过一段时间的学习之后,多少都会碰到各种挫败,以下北风网就总结一些对于初学者非常有用的建议,希望能够给他们解决现实中的问题。Java编程的准备:...

SQLShift 重大更新:Oracle→PostgreSQL 存储过程转换功能上线!

官网:https://sqlshift.cn/6月,SQLShift迎来重大版本更新!作为国内首个支持Oracle->OceanBase存储过程智能转换的工具,SQLShift在过去一...

JDK21有没有什么稳定、简单又强势的特性?

佳未阿里云开发者2025年03月05日08:30浙江阿里妹导读这篇文章主要介绍了Java虚拟线程的发展及其在AJDK中的实现和优化。阅前声明:本文介绍的内容基于AJDK21.0.5[1]以及以上...

「松勤软件测试」网站总出现404 bug?总结8个原因,不信解决不了

在进行网站测试的时候,有没有碰到过网站崩溃,打不开,出现404错误等各种现象,如果你碰到了,那么恭喜你,你的网站出问题了,是什么原因导致网站出问题呢,根据松勤软件测试的总结如下:01数据库中的表空间不...

Java面试题及答案最全总结(2025版)

大家好,我是Java面试陪考员最近很多小伙伴在忙着找工作,给大家整理了一份非常全面的Java面试题及答案。涉及的内容非常全面,包含:Spring、MySQL、JVM、Redis、Linux、Sprin...

数据库日常运维工作内容(数据库日常运维 工作内容)

#数据库日常运维工作包括哪些内容?#数据库日常运维工作是一个涵盖多个层面的综合性任务,以下是详细的分类和内容说明:一、数据库运维核心工作监控与告警性能监控:实时监控CPU、内存、I/O、连接数、锁等待...

分布式之系统底层原理(上)(底层分布式技术)

作者:allanpan,腾讯IEG高级后台工程师导言分布式事务是分布式系统必不可少的组成部分,基本上只要实现一个分布式系统就逃不开对分布式事务的支持。本文从分布式事务这个概念切入,尝试对分布式事务...

oracle 死锁了怎么办?kill 进程 直接上干货

1、查看死锁是否存在selectusername,lockwait,status,machine,programfromv$sessionwheresidin(selectsession...

SpringBoot 各种分页查询方式详解(全网最全)

一、分页查询基础概念与原理1.1什么是分页查询分页查询是指将大量数据分割成多个小块(页)进行展示的技术,它是现代Web应用中必不可少的功能。想象一下你去图书馆找书,如果所有书都堆在一张桌子上,你很难...

《战场兄弟》全事件攻略 一般事件合同事件红装及隐藏职业攻略

《战场兄弟》全事件攻略,一般事件合同事件红装及隐藏职业攻略。《战场兄弟》事件奖励,事件条件。《战场兄弟》是OverhypeStudios制作发行的一款由xcom和桌游为灵感来源,以中世纪、低魔奇幻为...

LoadRunner(loadrunner录制不到脚本)

一、核心组件与工作流程LoadRunner性能测试工具-并发测试-正版软件下载-使用教程-价格-官方代理商的架构围绕三大核心组件构建,形成完整测试闭环:VirtualUserGenerator(...

Redis数据类型介绍(redis 数据类型)

介绍Redis支持五种数据类型:String(字符串),Hash(哈希),List(列表),Set(集合)及Zset(sortedset:有序集合)。1、字符串类型概述1.1、数据类型Redis支持...

RMAN备份监控及优化总结(rman备份原理)

今天主要介绍一下如何对RMAN备份监控及优化,这里就不讲rman备份的一些原理了,仅供参考。一、监控RMAN备份1、确定备份源与备份设备的最大速度从磁盘读的速度和磁带写的带度、备份的速度不可能超出这两...

取消回复欢迎 发表评论: