百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

Redis 回收进程如何工作的?(redis缓存回收)

mhr18 2025-03-30 18:35 24 浏览 0 评论

Redis 的回收进程(Eviction Process)主要指的是 内存淘汰策略,当 Redis 使用的内存达到配置的上限 (maxmemory) 时,为了能够继续接受新的写入操作,Redis 需要根据配置的策略,从已有的数据中淘汰一部分键值对,释放内存空间。

以下是 Redis 回收进程的工作原理和关键方面:

1. 触发条件:内存达到上限 (maxmemory)

  • Redis 通过 maxmemory 配置项来设置最大可用内存。
  • 当 Redis 尝试写入新的数据,并且当前使用的内存已经超过了 maxmemory 设置的值时,就会触发内存淘汰策略。
  • 注意:maxmemory 是一个软限制,Redis 实际使用的内存可能会略微超过这个值,因为淘汰过程需要时间,并且某些操作(如持久化)也可能暂时增加内存使用。

2. 回收策略 (Eviction Policies):决定淘汰哪些键

Redis 提供了多种内存淘汰策略,可以通过 maxmemory-policy 配置项进行设置。不同的策略适用于不同的应用场景和数据访问模式。主要策略包括:

  • No Eviction (不淘汰):
    • noeviction: 当内存达到上限时,Redis 不会淘汰任何键,而是直接返回错误,拒绝新的写入操作。
    • 适用于对数据完整性要求极高,不允许任何数据丢失的场景。但需要确保内存足够,否则 Redis 将无法正常工作。
  • Volatile Keys (针对设置了过期时间的键):
    • volatile-lru: 从设置了过期时间的键中,淘汰最近最少使用的 (Least Recently Used, LRU) 键。
    • volatile-lfu: 从设置了过期时间的键中,淘汰最近最不常用的 (Least Frequently Used, LFU) 键。
    • volatile-ttl: 从设置了过期时间的键中,淘汰剩余生存时间 (TTL) 最短的键。
    • volatile-random: 从设置了过期时间的键中,随机淘汰一些键。
    • 这些策略只考虑设置了过期时间的键,如果所有设置了过期时间的键都未被淘汰,但内存仍然不足,则 Redis 会返回错误,拒绝新的写入操作。
  • All Keys (针对所有键,包括没有设置过期时间的键):
    • allkeys-lru: 从所有键中,淘汰最近最少使用的 (LRU) 键。
    • allkeys-lfu: 从所有键中,淘汰最近最不常用的 (LFU) 键。
    • allkeys-random: 从所有键中,随机淘汰一些键。
    • 这些策略会考虑所有键,即使键没有设置过期时间。如果内存不足,Redis 会根据策略淘汰键,直到内存足够为止。

LRU (Least Recently Used) 和 LFU (Least Frequently Used) 的区别:

  • LRU: 基于键的最近访问时间进行淘汰。最近最少被访问的键被优先淘汰。
  • LFU: 基于键的访问频率进行淘汰。访问频率最低的键被优先淘汰。LFU 相比 LRU 更能反映键的真实热度,但实现和维护访问频率信息会带来一定的性能开销。Redis 的 LFU 实现是近似的,并非精确 LFU,以减少性能影响。

3. 回收过程步骤 (简化描述):

  1. 内存检查: 当 Redis 接收到写入命令时,会先检查当前内存使用情况。
  2. 判断是否需要淘汰: 如果内存使用超过 maxmemory,则需要进行淘汰。
  3. 选择淘汰策略: 根据 maxmemory-policy 配置选择相应的淘汰策略。
  4. 扫描候选键: Redis 会根据策略扫描一部分键作为候选淘汰对象。对于 LRU 和 LFU 策略,Redis 并非扫描所有键,而是采用近似 LRU/LFU 算法,通过采样一部分键来估算 LRU/LFU 值,以提高性能。扫描的键的数量可以通过 maxmemory-samples 配置项控制,默认值为 5。增加 maxmemory-samples 可以提高 LRU/LFU 算法的精度,但也会增加 CPU 开销。
  5. 选择淘汰键: 从扫描到的候选键中,根据选定的策略 (LRU, LFU, TTL, Random) 选择要淘汰的键。
  6. 淘汰键: 删除选定的键,释放内存空间。
  7. 重复淘汰: 如果淘汰后内存仍然不足,则重复步骤 4-6,直到内存足够或者无法再淘汰更多键 (例如,使用 noeviction 策略)。
  8. 执行写入操作: 内存释放后,Redis 可以继续执行新的写入操作。

4. 配置相关参数:

  • maxmemory : 设置 Redis 最大可用内存,单位可以是 bytes, kb, mb, gb。例如:maxmemory 1gb。
  • maxmemory-policy : 设置内存淘汰策略。例如:maxmemory-policy allkeys-lru。
  • maxmemory-samples : 设置 LRU/LFU 算法采样数量,用于近似估算 LRU/LFU 值。例如:maxmemory-samples 10。

5. 重要注意事项:

  • 选择合适的策略: 根据应用场景和数据访问模式选择合适的淘汰策略非常重要。如果数据访问模式符合 LRU 或 LFU 特性,allkeys-lru 或 allkeys-lfu 通常是不错的选择。如果希望优先淘汰设置了过期时间的键,可以使用 volatile-* 系列策略。如果不允许任何数据丢失,可以使用 noeviction 策略,但需要确保内存足够。
  • 监控内存使用: 定期监控 Redis 的内存使用情况,可以使用 INFO memory 命令查看。
  • 性能影响: 内存淘汰过程会消耗 CPU 资源,可能会对 Redis 的性能产生一定影响,尤其是在淘汰大量键时。
  • 数据丢失: 内存淘汰意味着数据丢失,需要根据应用场景考虑数据丢失的容忍度,并做好数据备份和恢复策略。
  • TTL 的作用: 合理使用 TTL (Time To Live) 为键设置过期时间,可以帮助 Redis 更有效地进行内存管理,减少内存淘汰的压力。

总结:

Redis 的回收进程(内存淘汰策略)是其内存管理的重要组成部分。理解 Redis 的回收策略和工作原理,并根据应用场景合理配置 maxmemory 和 maxmemory-policy,可以帮助我们更好地利用 Redis 的内存资源,保证 Redis 的稳定性和性能。选择合适的策略需要根据具体的业务需求和数据访问模式进行权衡和测试。

相关推荐

Java培训机构,你选对了吗?(java培训机构官网)

如今IT行业发展迅速,不仅是大学生,甚至有些在职的员工都想学习java开发,需求量的扩大,薪资必定增长,这也是更多人选择java开发的主要原因。不过对于没有基础的学员来说,java技术不是一两天就能...

产品经理MacBook软件清单-20个实用软件

三年前开始使用MacBookPro,从此再也不想用Windows电脑了,作为生产工具,MacBook可以说是非常胜任。作为产品经理,值得拥有一台MacBook。MacBook是工作平台,要发挥更大作...

RAD Studio(Delphi) 本月隆重推出新的版本12.3

#在头条记录我的2025#自2024年9月,推出Delphi12.2版本后,本月隆重推出新的版本12.3,RADStudio12.3,包含了Delphi12.3和C++builder12.3最...

图解Java垃圾回收机制,写得非常好

什么是自动垃圾回收?自动垃圾回收是一种在堆内存中找出哪些对象在被使用,还有哪些对象没被使用,并且将后者删掉的机制。所谓使用中的对象(已引用对象),指的是程序中有指针指向的对象;而未使用中的对象(未引用...

Centos7 初始化硬盘分区、挂载(针对2T以上)添加磁盘到卷

1、通过命令fdisk-l查看硬盘信息:#fdisk-l,发现硬盘为/dev/sdb大小4T。2、如果此硬盘以前有过分区,则先对磁盘格式化。命令:mkfs.文件系统格式-f/dev/sdb...

半虚拟化如何提高服务器性能(虚拟化 半虚拟化)

半虚拟化是一种重新编译客户机操作系统(OS)将其安装在虚拟机(VM)上的一种虚拟化类型,并在主机操作系统(OS)运行的管理程序上运行。与传统的完全虚拟化相比,半虚拟化可以减少开销,并提高系统性能。虚...

HashMap底层实现原理以及线程安全实现

HashMap底层实现原理数据结构:HashMap的底层实现原理主要依赖于数组+链表+红黑树的结构。1、数组:HashMap最底层是一个数组,称为table,它存放着键值对。2、链...

long和double类型操作的非原子性探究

前言“深入java虚拟机”中提到,int等不大于32位的基本类型的操作都是原子操作,但是某些jvm对long和double类型的操作并不是原子操作,这样就会造成错误数据的出现。其实这里的某些jvm是指...

数据库DELETE 语句,还保存原有的磁盘空间

MySQL和Oracle的DELETE语句与数据存储MySQL的DELETE操作当你在MySQL中执行DELETE语句时:逻辑删除:数据从表中标记为删除,不再可见于查询结果物理...

线程池—ThreadPoolExecutor详解(线程池实战)

一、ThreadPoolExecutor简介在juc-executors框架概述的章节中,我们已经简要介绍过ThreadPoolExecutor了,通过Executors工厂,用户可以创建自己需要的执...

navicat如何使用orcale(详细步骤)

前言:看过我昨天文章的同鞋都知道最近接手另一个国企项目,数据库用的是orcale。实话实说,也有快三年没用过orcale数据库了。这期间问题不断,因为orcale日渐消沉,网上资料也是真真假假,难辨虚...

你的程序是不是慢吞吞?GraalVM来帮你飞起来性能提升秘籍大公开

各位IT圈内外的朋友们,大家好!我是你们的老朋友,头条上的IT技术博主。不知道你们有没有这样的经历:打开一个软件,半天没反应;点开一个网站,图片刷不出来;或者玩个游戏,卡顿得想砸电脑?是不是特别上火?...

大数据正当时,理解这几个术语很重要

目前,大数据的流行程度远超于我们的想象,无论是在云计算、物联网还是在人工智能领域都离不开大数据的支撑。那么大数据领域里有哪些基本概念或技术术语呢?今天我们就来聊聊那些避不开的大数据技术术语,梳理并...

秒懂列式数据库和行式数据库(列式数据库的特点)

行式数据库(Row-Based)数据按行存储,常见的行式数据库有Mysql,DB2,Oracle,Sql-server等;列数据库(Column-Based)数据存储方式按列存储,常见的列数据库有Hb...

AMD发布ROCm 6.4更新:带来了多项底层改进,但仍不支持RDNA 4

AMD宣布,对ROCm软件栈进行了更新,推出了新的迭代版本ROCm6.4。这一新版本里,AMD带来了多项底层改进,包括更新改进了ROCm的用户空间库和AMDKFD内核驱动程序之间的兼容性,使其更容易...

取消回复欢迎 发表评论: