百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

Redis的内存淘汰机制(redis消耗内存资源)

mhr18 2025-03-26 14:17 38 浏览 0 评论

Redis 的内存淘汰机制 (Eviction Policy) 是指当 Redis 使用的内存达到 maxmemory 配置的上限时,为了腾出新的空间来存储数据,Redis 会根据配置的策略自动删除一些键 (key)。 这个机制对于保证 Redis 在内存受限的环境下能够持续稳定运行至关重要。

为什么需要内存淘汰机制?

Redis 是一个基于内存的数据库,所有数据都存储在内存中以实现高速读写。 然而,内存资源是有限的。 当 Redis 存储的数据量不断增长,最终会达到服务器的内存上限。 如果不进行内存管理,Redis 将无法继续写入新的数据,甚至可能导致崩溃。

内存淘汰机制就是为了解决这个问题而生的。 当 Redis 内存不足时,它会根据预设的策略,自动删除一些不再重要或不常用的数据,从而释放内存空间,保证 Redis 可以继续接受新的写入操作。

Redis 内存淘汰策略 (maxmemory-policy)

Redis 提供了多种内存淘汰策略,可以通过 redis.conf 文件中的 maxmemory-policy 配置项进行设置。 以下是 Redis 支持的策略,以及它们的详细解释:

1. No Eviction (不淘汰策略)

  • 策略名称: noeviction
  • 描述: 这是默认策略。 当内存达到 maxmemory 限制时,Redis 不会 淘汰任何键。
  • 行为:对于 读操作 (如 GET, HGET, SADD 等),Redis 仍然可以正常执行。对于 写操作 (如 SET, HSET, LPUSH 等),如果需要分配新的内存空间,Redis 将会返回错误 (error) OOM command not allowed when used memory > 'maxmemory'。
  • 适用场景:数据完整性至关重要: 如果你绝对不能丢失任何数据,并且希望 Redis 在内存不足时直接拒绝写入操作,而不是删除数据。内存充足的环境: 如果你的 Redis 实例部署在内存资源非常充足的环境中,并且数据量增长可控,可以考虑使用 noeviction。
  • 缺点:可能导致服务不可用: 当内存耗尽时,Redis 将拒绝写入操作,影响应用程序的正常功能。内存溢出风险: 如果不加以监控和管理,可能会导致服务器内存溢出。

2. Volatile Policies (针对设置了过期时间的键)

这些策略只针对设置了过期时间 (TTL) 的键进行淘汰。 如果没有符合条件的键,则会退化为 noeviction 策略。

  • volatile-lru (最近最少使用算法,针对设置了过期时间的键)
    • 描述: 从所有设置了过期时间的键中,淘汰 最近最少使用 (Least Recently Used, LRU) 的键。
    • 适用场景: 适用于缓存场景,优先保留最近被访问的数据,淘汰较少访问的过期数据。
    • 优点: 相对智能,能够淘汰不常用的过期数据,提高缓存命中率。
    • 缺点: 只针对过期键,如果所有键都没有设置过期时间,则不会进行淘汰。
  • volatile-lfu (最近最不常用算法,针对设置了过期时间的键)
    • 描述: 从所有设置了过期时间的键中,淘汰 最近最不常用 (Least Frequently Used, LFU) 的键。
    • 适用场景: 类似于 volatile-lru,但 LFU 更关注键的访问频率,而不是最近一次访问时间。 适用于访问频率分布不均匀的场景,例如某些键访问频率很高,而其他键访问频率很低。
    • 优点: 在某些场景下,LFU 比 LRU 更能准确地淘汰不常用的数据,提高缓存命中率。
    • 缺点: 计算 LFU 需要维护额外的频率信息,可能会带来一定的性能开销。 同样只针对过期键。
  • volatile-random (随机淘汰算法,针对设置了过期时间的键)
    • 描述: 从所有设置了过期时间的键中,随机淘汰一部分键。
    • 适用场景: 适用于对数据重要性没有明确区分,或者对淘汰策略性能要求较高的场景。
    • 优点: 简单高效,实现成本低,性能开销小。
    • 缺点: 淘汰的键可能不是最不重要的,可能误删重要数据。 同样只针对过期键。
  • volatile-ttl (TTL 淘汰算法,针对设置了过期时间的键)
    • 描述: 从所有设置了过期时间的键中,淘汰 剩余生存时间 (Time To Live, TTL) 最短 的键,也就是即将过期的键。
    • 适用场景: 适用于希望优先淘汰即将过期的数据的场景,例如会话数据、临时缓存等。
    • 优点: 可以确保尽快释放即将过期的键占用的内存。
    • 缺点: 可能淘汰掉最近刚被访问但即将过期的键,不一定是最优的淘汰策略。 同样只针对过期键。

3. Allkeys Policies (针对所有键,无论是否设置过期时间)

这些策略会考虑 Redis 实例中的所有键,无论是否设置了过期时间。 如果没有键可以淘汰,则会退化为 noeviction 策略。

  • allkeys-lru (最近最少使用算法,针对所有键)
    • 描述: 从所有键中,淘汰 最近最少使用 (LRU) 的键。
    • 适用场景: 适用于缓存场景,希望优先保留最近被访问的数据,淘汰较少访问的数据。
    • 优点: 相对智能,能够淘汰不常用的数据,提高缓存命中率。
    • 缺点: 如果数据访问模式不符合 LRU 特性,淘汰效果可能不佳。
  • allkeys-lfu (最近最不常用算法,针对所有键)
    • 描述: 从所有键中,淘汰 最近最不常用 (LFU) 的键。
    • 适用场景: 类似于 allkeys-lru,但 LFU 更关注键的访问频率。 适用于访问频率分布不均匀的场景。
    • 优点: 在某些场景下,LFU 比 LRU 更能准确地淘汰不常用的数据,提高缓存命中率。
    • 缺点: 计算 LFU 需要维护额外的频率信息,可能会带来一定的性能开销。
  • allkeys-random (随机淘汰算法,针对所有键)
    • 描述: 从所有键中,随机淘汰一部分键。
    • 适用场景: 适用于对数据重要性没有明确区分,或者对淘汰策略性能要求较高的场景。
    • 优点: 简单高效,实现成本低,性能开销小。
    • 缺点: 淘汰的键可能不是最不重要的,可能误删重要数据。

LRU 和 LFU 的近似算法

Redis 的 LRU 和 LFU 算法都是 近似算法,而不是精确算法。 这是为了在性能和准确性之间取得平衡。

  • 近似 LRU: Redis 并非跟踪所有键的精确访问时间戳,而是维护一个采样池 (sample pool)。 当需要淘汰键时,Redis 会从采样池中随机选择几个键,然后淘汰其中 LRU 的键。 maxmemory-samples 配置项控制采样池的大小,值越大,LRU 算法越接近精确,但性能开销也越大。
  • 近似 LFU: Redis 为每个键维护一个 8 位的计数器,用于记录键的访问频率。 计数器会随着键的访问而增加,但增长速度会随着时间衰减。 淘汰时,Redis 会从采样池中选择键,并根据计数器值淘汰 LFU 的键。 LFU 算法也受到 maxmemory-samples 和 lfu-log-factor、lfu-decay-time 等配置项的影响。

如何选择合适的淘汰策略?

选择合适的淘汰策略需要根据你的应用场景和数据特点来决定:

  • 缓存场景:
    • volatile-lru 或 allkeys-lru: 如果你的 Redis 主要用作缓存,并且希望优先保留最近访问的数据,LRU 策略通常是不错的选择。
    • volatile-lfu 或 allkeys-lfu: 如果你的数据访问频率分布不均匀,某些键访问频率很高,而其他键访问频率很低,LFU 策略可能更适合。
  • 会话管理、临时数据:
    • volatile-ttl: 如果你的 Redis 存储的是会话数据、临时数据等,并且希望优先淘汰即将过期的数据,volatile-ttl 策略可能更合适。
  • 数据重要性不高,性能优先:
    • volatile-random 或 allkeys-random: 如果你的数据重要性不高,或者对淘汰策略的性能要求很高,随机淘汰策略可以考虑。
  • 数据完整性至上:
    • noeviction: 如果你绝对不能丢失任何数据,并且希望 Redis 在内存不足时直接拒绝写入操作,可以选择 noeviction 策略。 但需要确保你有足够的内存资源,并做好内存监控和管理。

配置内存淘汰策略

可以通过以下两种方式配置 Redis 的内存淘汰策略:

  1. 修改 redis.conf 文件: 找到 maxmemory-policy 配置项,将其设置为你需要的策略,例如:
  2. 复制代码
  3. maxmemory-policy volatile-lru
  4. 修改后需要重启 Redis 服务才能生效。
  5. 使用 CONFIG SET 命令动态修改: 在 Redis 客户端中使用 CONFIG SET 命令可以动态修改 maxmemory-policy,例如:
  6. 复制代码
  7. CONFIG SET maxmemory-policy allkeys-lfu
  8. 动态修改会立即生效,无需重启 Redis 服务。

重要注意事项:

  • maxmemory 配置: 必须先配置 maxmemory 选项,内存淘汰策略才能生效。 maxmemory 设置 Redis 可以使用的最大内存量。
  • 内存监控: 建议监控 Redis 的内存使用情况,例如使用 INFO memory 命令查看 used_memory 和 maxmemory 的值,以及 evicted_keys 统计被淘汰的键的数量。
  • 性能影响: 内存淘汰操作本身会消耗一定的 CPU 资源,选择合适的策略并合理配置 maxmemory-samples 等参数可以降低性能影响。
  • 数据丢失风险: 除了 noeviction 策略,其他所有策略都可能导致数据丢失。 在选择策略时,需要权衡数据丢失的风险和内存管理的必要性。
  • 测试和调优: 在生产环境中使用 Redis 之前,建议进行充分的测试,根据实际应用场景和数据特点,选择合适的内存淘汰策略并进行调优。

总结

Redis 的内存淘汰机制是保证 Redis 在内存受限环境下稳定运行的关键特性。 理解各种淘汰策略的特点和适用场景,并根据实际需求选择合适的策略,对于构建高性能、高可用的 Redis 应用至关重要。 同时,合理的 maxmemory 配置、内存监控和性能调优也是不可或缺的环节。

相关推荐

Redis合集-使用benchmark性能测试

采用开源Redis的redis-benchmark工具进行压测,它是Redis官方的性能测试工具,可以有效地测试Redis服务的性能。本次测试使用Redis官方最新的代码进行编译,详情请参见Redis...

Java简历总被已读不回?面试挂到怀疑人生?这几点你可能真没做好

最近看了几十份简历,发现大部分人不是技术差,而是不会“卖自己”——一、简历死穴:你写的不是经验,是岗位说明书!反面教材:ד使用SpringBoot开发项目”ד负责用户模块功能实现”救命写法:...

redission YYDS(redission官网)

每天分享一个架构知识Redission是一个基于Redis的分布式Java锁框架,它提供了各种锁实现,包括可重入锁、公平锁、读写锁等。使用Redission可以方便地实现分布式锁。red...

从数据库行锁到分布式事务:电商库存防超卖的九重劫难与破局之道

2023年6月18日我们维护的电商平台在零点刚过3秒就遭遇了严重事故。监控大屏显示某爆款手机SKU_IPHONE13_PRO_MAX在库存仅剩500台时,订单系统却产生了1200笔有效订单。事故复盘发...

SpringBoot系列——实战11:接口幂等性的形而上思...

欢迎关注、点赞、收藏。幂等性不仅是一种技术需求,更是数字文明对确定性追求的体现。在充满不确定性的网络世界中,它为我们建立起可依赖的存在秩序,这或许正是技术哲学最深刻的价值所在。幂等性的本质困境在支付系...

如何优化系统架构设计缓解流量压力提升并发性能?Java实战分享

如何优化系统架构设计缓解流量压力提升并发性能?Java实战分享在高流量场景下。首先,我需要回忆一下常见的优化策略,比如负载均衡、缓存、数据库优化、微服务拆分这些。不过,可能还需要考虑用户的具体情况,比...

Java面试题: 项目开发中的有哪些成长?该如何回答

在Java面试中,当被问到“项目中的成长点”时,面试官不仅想了解你的技术能力,更希望看到你的问题解决能力、学习迭代意识以及对项目的深度思考。以下是回答的策略和示例,帮助你清晰、有说服力地展示成长点:一...

互联网大厂后端必看!Spring Boot 如何实现高并发抢券逻辑?

你有没有遇到过这样的情况?在电商大促时,系统上线了抢券活动,结果活动刚一开始,服务器就不堪重负,出现超卖、系统崩溃等问题。又或者用户疯狂点击抢券按钮,最后却被告知无券可抢,体验极差。作为互联网大厂的后...

每日一题 |10W QPS高并发限流方案设计(含真实代码)

面试场景还原面试官:“如果系统要承载10WQPS的高并发流量,你会如何设计限流方案?”你:“(稳住,我要从限流算法到分布式架构全盘分析)…”一、为什么需要限流?核心矛盾:系统资源(CPU/内存/数据...

Java面试题:服务雪崩如何解决?90%人栽了

服务雪崩是指微服务架构中,由于某个服务出现故障,导致故障在服务之间不断传递和扩散,最终造成整个系统崩溃的现象。以下是一些解决服务雪崩问题的常见方法:限流限制请求速率:通过限流算法(如令牌桶算法、漏桶算...

面试题官:高并发经验有吗,并发量多少,如何回复?

一、有实际高并发经验(建议结构)直接量化"在XX项目中,系统日活用户约XX万,核心接口峰值QPS达到XX,TPS处理能力为XX/秒。通过压力测试验证过XX并发线程下的稳定性。"技术方案...

瞬时流量高并发“保命指南”:这样做系统稳如泰山,老板跪求加薪

“系统崩了,用户骂了,年终奖飞了!”——这是多少程序员在瞬时大流量下的真实噩梦?双11秒杀、春运抢票、直播带货……每秒百万请求的冲击,你的代码扛得住吗?2025年了,为什么你的系统一遇高并发就“躺平”...

其实很多Java工程师不是能力不够,是没找到展示自己的正确姿势。

其实很多Java工程师不是能力不够,是没找到展示自己的正确姿势。比如上周有个小伙伴找我,五年经验但简历全是'参与系统设计''优化接口性能'这种空话。我就问他:你做的秒杀...

PHP技能评测(php等级考试)

公司出了一些自我评测的PHP题目,现将题目和答案记录于此,以方便记忆。1.魔术函数有哪些,分别在什么时候调用?__construct(),类的构造函数__destruct(),类的析构函数__cal...

你的简历在HR眼里是青铜还是王者?

你的简历在HR眼里是青铜还是王者?兄弟,简历投了100份没反应?面试总在第三轮被刷?别急着怀疑人生,你可能只是踩了这些"隐形求职雷"。帮3630+程序员改简历+面试指导和处理空窗期时间...

取消回复欢迎 发表评论: