百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

Redis持久化深入解析(RDB 、AOF)—官方原版

mhr18 2024-11-16 23:25 17 浏览 0 评论

Redis 如何将数据写入磁盘


持久性是指将数据写入持久存储,例如固态磁盘 (SSD)。Redis 提供了一系列持久性选项。其中包括:


  • RDB(Redis 数据库):RDB 持久性按指定的时间间隔执行数据集的时间点快照。


  • AOF(仅追加文件):AOF 持久性记录服务器收到的每个写入操作。然后可以在服务器启动时再次重播这些操作,重建原始数据集。命令的记录格式与 Redis 协议本身相同。


  • No persistence:可以完全禁用持久性。这有时在缓存时使用。


  • RDB + AOF:您还可以在同一实例中组合 AOF 和 RDB。


一、RDB


1、RDB优势


  • RDB 是 Redis 数据的一个非常紧凑的单文件时间点表示形式。RDB 文件非常适合备份。例如,您可能希望每隔 24 小时存档一次 RDB 文件,并将 RDB 快照每天保存 30 天。这使您可以在发生灾难时轻松还原数据集的不同版本。


  • RDB 非常适合灾难恢复,它是一个可以传输到远程数据中心或 Amazon S3(可能加密)的单个紧凑文件。


  • RDB 最大限度地提高了 Redis 性能,因为 Redis 父进程为了持久化而需要做的唯一工作是分叉一个子进程,该子进程将完成所有其余工作。父进程永远不会执行磁盘 I/O 或类似操作。


  • 与 AOF 相比,RDB 允许更快地重新启动大数据集。


  • 在副本上,RDB 支持重新启动和故障转移后的部分重新同步。


2、RDB 缺点


  • 如果您需要在 Redis 停止工作(例如停电后)将数据丢失的可能性降至最低,则 RDB 不好。您可以在生成 RDB 的位置配置不同的保存点(例如,在至少 100 分钟和针对数据集写入 <> 次后,您可以有多个保存点)。但是,您通常会每五分钟或更长时间创建一个 RDB 快照,因此,如果 Redis 因任何原因在没有正确关闭的情况下停止工作,您应该准备好丢失最新几分钟的数据。


  • RDB 经常需要 fork() 才能使用子进程持久化在磁盘上。如果数据集很大,fork() 可能会很耗时,如果数据集非常大且 CPU 性能不是很好,则可能会导致 Redis 停止为客户端提供服务几毫秒甚至一秒钟。AOF 还需要 fork(),但频率较低,您可以调整重写日志的频率,而无需牺牲持久性。


二、AOF


1、AOF优势


  • 使用 AOF Redis 更加持久:您可以拥有不同的 fsync 策略:完全没有 fsync,每秒 fsync 一次,每次查询时 fsync。使用每秒 fsync 的默认策略,写入性能仍然很高。fsync 是使用后台线程执行的,当没有 fsync 正在进行时,主线程将努力执行写入,因此您只能丢失一秒钟的写入。


  • AOF 日志是仅追加日志,因此在断电时不会有寻道或损坏问题。即使由于某种原因(磁盘已满或其他原因)日志以半写命令结束,redis-check-aof 工具也可以轻松修复它。


  • Redis 能够在 AOF 变得太大时在后台自动重写它。重写是完全安全的,因为当 Redis 继续追加到旧文件时,会使用创建当前数据集所需的最少操作集生成一个全新的文件,一旦第二个文件准备就绪,Redis 就会切换两者并开始追加到新文件。


  • AOF 以易于理解和解析的格式包含所有操作一个接一个的日志。您甚至可以轻松导出 AOF 文件。例如,即使您使用 FLUSHALL 命令意外刷新了所有内容,只要在此期间没有重写日志,您仍然可以通过停止服务器、删除最新命令并重新启动 Redis 来保存数据集。


2、AOF缺点


  • AOF 文件通常大于同一数据集的等效 RDB 文件。


  • AOF 可能比 RDB 慢,具体取决于确切的 fsync 策略。一般来说,将 fsync 设置为每秒性能仍然非常高,并且在禁用 fsync 的情况下,即使在高负载下,它应该与 RDB 一样快。尽管如此,RDB仍然能够提供更多关于最大延迟的保证,即使在巨大的写入负载的情况下也是如此。


三、快照


默认情况下,Redis将数据集的快照保存在磁盘上,保存在一个名为dump.rdb的二进制文件中。如果数据集中至少有M个更改,您可以配置Redis,使其每隔N秒保存一次数据集,也可以手动调用save或BGSAVE命令。


例如,如果至少更改了1000个键,此配置将使Redis每60秒自动将数据集转储到磁盘:


save 60 1000



四、工作原理


每当Redis需要将数据集转储到磁盘时,会发生以下情况:


  • Redis分叉。我们现在有了一个子进程和一个父进程。


  • 子项开始将数据集写入临时 RDB 文件。


  • 当孩子写完新的RDB文件时,它会替换旧的 一。


该方法允许Redis从写时复制语义中获益。


五、仅追加文件


快照不太耐用。如果运行Redis的计算机停止运行,电源线发生故障,或者意外杀死了-9个实例,则写入Redis的最新数据将丢失。虽然这对某些应用程序来说可能不是什么大问题,但也有完全持久性的用例,在这些情况下,仅使用Redis快照是不可行的。


仅附加文件是Redis的一种完全持久的替代策略。它在1.1版中可用。


您可以在配置文件中打开AOF:


appendonly yes



从现在开始,每次 Redis 收到一个命令,该命令会更改 数据集(例如 SET),它会将其附加到 AOF。重新启动时 Redis 它将重播 AOF 以重建状态。


从 Redis 7.0.0 开始,Redis 使用多部分 AOF 机制。 也就是说,原始的单个 AOF 文件被拆分为基本文件(最多一个)和增量文件(可能有多个)。 基本文件表示重写 AOF 时存在的数据的初始(RDB 或 AOF 格式)快照。 增量文件包含自上次创建基本 AOF 文件以来的增量更改。所有这些文件都放在一个单独的目录中,并由清单文件跟踪


六、日志重写


随着写入操作的出现,AOF变得越来越大 执行。例如,如果要将计数器递增 100 倍, 您最终会在数据集中获得一个包含最终 值,但 AOF 中有 100 个条目。其中 99 个条目不需要 以重建当前状态。


重写是完全安全的。 当 Redis 继续追加到旧文件时, 使用创建当前数据集所需的最少操作集生成一个全新的, 一旦第二个文件准备就绪,Redis 就会切换两者并开始附加到新文件。


所以 Redis 支持一个有趣的功能:它能够重建 AOF 在后台,而不会中断对客户端的服务。每当 你发出一个BGREWRITEAOF,Redis会写最短的序列 在内存中重建当前数据集所需的命令。如果你是 将 AOF 与 Redis 2.2 一起使用,您需要不时运行 BGREWRITEAOF 时间。由于 Redis 2.4 能够自动触发日志重写(请参阅 示例配置文件以获取更多信息)。


从 Redis 7.0.0 开始,当计划进行 AOF 重写时,Redis 父进程会打开一个新的增量 AOF 文件以继续写入。 子进程执行重写逻辑并生成新的基本 AOF。 Redis 将使用临时清单文件来跟踪新生成的基本文件和增量文件。 准备就绪后,Redis 将执行原子替换操作以使此临时清单文件生效。 为了避免在 AOF 重写重复失败和重试的情况下创建许多增量文件的问题, Redis 引入了 AOF 重写限制机制,以确保以越来越慢的速度重试失败的 AOF 重写。


七、仅追加文件的持久性如何?


您可以配置 Redis 在磁盘上同步数据的次数。有 三个选项:


  • appendfsync always:每次向AOF附加新命令时,都会执行fsync。非常慢,非常安全。请注意,在执行来自多个客户机或管道的一批命令后,这些命令会附加到AOF中,因此这意味着(在发送回复之前)进行一次写入和一次fsync


  • appendfsync everysec:fsync每秒钟一次。足够快(因为2.4版可能与快照一样快),如果发生灾难,您可能会丢失1秒的数据。


  • appendfsync no:永远不要fsync,只需将数据交给操作系统即可。更快、更不安全的方法。通常情况下,Linux使用此配置每30秒刷新一次数据,但这取决于内核的精确调整。


建议的(也是默认的)策略是每秒fsync一次。它既快速又相对安全。always策略在实践中非常缓慢,但它支持组提交,因此如果存在多个并行写入,Redis将尝试执行单个fsync操作。


八、AOF 和 RDB 持久性之间的交互


Redis >= 2.4 确保在 RDB 时避免触发 AOF 重写 快照操作已在进行中,或者允许 BGSAVE 同时 AOF重写正在进行中。这可以防止两个 Redis 后台进程 同时执行繁重的磁盘 I/O。


当快照正在进行并且用户显式请求日志时 使用 BGREWRITEA 的重写操作服务器将回复 OK 状态代码告诉用户操作已计划,并重写 将在快照完成后开始。


如果同时启用了 AOF 和 RDB 持久性,并且 Redis 重新启动 AOF文件将用于重建原始数据集,因为它是 保证是最完整的。


官网:Doker 多克; 官方旗舰店首页-Doker 多克 多克创新科技企业店-淘宝网全品优惠

?

相关推荐

【推荐】一个开源免费、AI 驱动的智能数据管理系统,支持多数据库

如果您对源码&技术感兴趣,请点赞+收藏+转发+关注,大家的支持是我分享最大的动力!!!.前言在当今数据驱动的时代,高效、智能地管理数据已成为企业和个人不可或缺的能力。为了满足这一需求,我们推出了这款开...

Pure Storage推出统一数据管理云平台及新闪存阵列

PureStorage公司今日推出企业数据云(EnterpriseDataCloud),称其为组织在混合环境中存储、管理和使用数据方式的全面架构升级。该公司表示,EDC使组织能够在本地、云端和混...

对Java学习的10条建议(对java课程的建议)

不少Java的初学者一开始都是信心满满准备迎接挑战,但是经过一段时间的学习之后,多少都会碰到各种挫败,以下北风网就总结一些对于初学者非常有用的建议,希望能够给他们解决现实中的问题。Java编程的准备:...

SQLShift 重大更新:Oracle→PostgreSQL 存储过程转换功能上线!

官网:https://sqlshift.cn/6月,SQLShift迎来重大版本更新!作为国内首个支持Oracle->OceanBase存储过程智能转换的工具,SQLShift在过去一...

JDK21有没有什么稳定、简单又强势的特性?

佳未阿里云开发者2025年03月05日08:30浙江阿里妹导读这篇文章主要介绍了Java虚拟线程的发展及其在AJDK中的实现和优化。阅前声明:本文介绍的内容基于AJDK21.0.5[1]以及以上...

「松勤软件测试」网站总出现404 bug?总结8个原因,不信解决不了

在进行网站测试的时候,有没有碰到过网站崩溃,打不开,出现404错误等各种现象,如果你碰到了,那么恭喜你,你的网站出问题了,是什么原因导致网站出问题呢,根据松勤软件测试的总结如下:01数据库中的表空间不...

Java面试题及答案最全总结(2025版)

大家好,我是Java面试陪考员最近很多小伙伴在忙着找工作,给大家整理了一份非常全面的Java面试题及答案。涉及的内容非常全面,包含:Spring、MySQL、JVM、Redis、Linux、Sprin...

数据库日常运维工作内容(数据库日常运维 工作内容)

#数据库日常运维工作包括哪些内容?#数据库日常运维工作是一个涵盖多个层面的综合性任务,以下是详细的分类和内容说明:一、数据库运维核心工作监控与告警性能监控:实时监控CPU、内存、I/O、连接数、锁等待...

分布式之系统底层原理(上)(底层分布式技术)

作者:allanpan,腾讯IEG高级后台工程师导言分布式事务是分布式系统必不可少的组成部分,基本上只要实现一个分布式系统就逃不开对分布式事务的支持。本文从分布式事务这个概念切入,尝试对分布式事务...

oracle 死锁了怎么办?kill 进程 直接上干货

1、查看死锁是否存在selectusername,lockwait,status,machine,programfromv$sessionwheresidin(selectsession...

SpringBoot 各种分页查询方式详解(全网最全)

一、分页查询基础概念与原理1.1什么是分页查询分页查询是指将大量数据分割成多个小块(页)进行展示的技术,它是现代Web应用中必不可少的功能。想象一下你去图书馆找书,如果所有书都堆在一张桌子上,你很难...

《战场兄弟》全事件攻略 一般事件合同事件红装及隐藏职业攻略

《战场兄弟》全事件攻略,一般事件合同事件红装及隐藏职业攻略。《战场兄弟》事件奖励,事件条件。《战场兄弟》是OverhypeStudios制作发行的一款由xcom和桌游为灵感来源,以中世纪、低魔奇幻为...

LoadRunner(loadrunner录制不到脚本)

一、核心组件与工作流程LoadRunner性能测试工具-并发测试-正版软件下载-使用教程-价格-官方代理商的架构围绕三大核心组件构建,形成完整测试闭环:VirtualUserGenerator(...

Redis数据类型介绍(redis 数据类型)

介绍Redis支持五种数据类型:String(字符串),Hash(哈希),List(列表),Set(集合)及Zset(sortedset:有序集合)。1、字符串类型概述1.1、数据类型Redis支持...

RMAN备份监控及优化总结(rman备份原理)

今天主要介绍一下如何对RMAN备份监控及优化,这里就不讲rman备份的一些原理了,仅供参考。一、监控RMAN备份1、确定备份源与备份设备的最大速度从磁盘读的速度和磁带写的带度、备份的速度不可能超出这两...

取消回复欢迎 发表评论: