5张图教你学会Redis 持久化机制(redis持久化有几种方式)
mhr18 2024-11-04 12:48 43 浏览 0 评论
1|0概述
Redis 官方提供了两种不同的持久化方法来将数据存储到硬盘,分别是:
- 快照(Snapshot)
- AOF(Append Only File)只追加日志文件
默认开启快照,同时启用两种持久化方式时,优先 AOF
2|0快照(Snapshot)
这种方式可以将某一时刻的所有数据都写入硬盘,保存的文件以 .rdb 形式结尾的文件,因此也称 RDB 方式
1. 快照生成方式
1.1 客户端方式
Redis 提供了两个命令来生成 RDB 文件,分别是 save 和 bgsave,他们的区别就在于:save 在「主进程」执行,有可能阻塞「主进程」,而 bgsave 会创建一个「子进程」执行
1.2 服务器配置
save 3600 1 300 100 60 10000
上述是 redis.conf 中的相关内容,需要注意的点有两个:
- 如果配置 save "" 可以完全禁用快照
- redis 默认开启快照,并且默认配置如下:save 3600 1 300 100 60 10000,它的意思是,只要满足下面条件的任意一个,就会执行 bgsave3600 秒(1 小时)之内,对数据库进行了至少 1 次修改300 秒(5 分钟)之内,对数据库进行了至少 100 次修改60 秒之内,对数据库进行了至少 10000 次修改
如果我们要自定义快照生成频率,只需要按照模板修改就好了
2. 保存快照
# rdb快照文件名
dbfilename dump.rdb
# rdb快照文件存放目录,请确保有写权限
dir ./
3. 其他相关配置
# 默认使用bgsave持久化时,如果发生错误,将停止写RDB快照文件,用户有时很难意识到数据并没有正确的被持久化
# 如果你已经设置了对Redis服务的正确监控,可以考虑关闭该特性,允许忽略错误,继续写RDB快照文件
# yes:开启 no:关闭
stop-writes-on-bgsave-error yes
# 是否使用LZF压缩字符串对象,一般建议开启
# yes:开启 no:关闭
rdbcompression yes
# 在写入和读取RDB文件时是否检查有无损坏
# yes:开启 no:关闭
rdbchecksum yes
# 加载RDB或还原负载时,启用或禁用ziplist和listpack等完全消毒检查
# yes:检查 no:不检查 clients:只对用户连接执行检查
sanitize-dump-payload no
# 在未启用持久性的实例中删除复制使用的RDB文件,默认情况下此选项处于禁用状态
# 此项仅适用于同时禁用AOF和RDB持久性的实例,否则将完全忽略
rdb-del-sync-files no
4. bgsave 执行原理
当接收到 bgsave 命令时,redis 会调用 fork 创建一个子进程,子进程负责将快照写入磁盘,父进程则继续处理命令
父进程可以继续执行命令,也就是数据能被修改,关键在于使用了「写时复制技术」,通过 fork 创建的子进程,和父进程共享同一片内存数据,子进程会复制父进程的页表,但是页表指向的物理内存还是同一个,这是为了加快创建子进程的速度,所以,子进程可以直接读取主进程的内存数据,并写入 RDB 文件
当主进程对共享数据只是只读操作,那么子进程和父进程互不影响,但如果主进程要修改共享数据的某一项,就会发生写时复制,这块数据会被复制一份,然后主进程在该副本进行修改,子进程继续把原来的数据写入 RDB 文件,也就是说,主进程刚修改的数据,是没办法在这一时间写入 RDB 文件的,只能交由下一次的 bgsave 快照
5. 自动触发
除了上述的方式以外,以下情况也会自动生成快照:
- 主从复制时,从节点从主节点进行全量复制时会触发 bgsave 操作,生成当时的快照发送到从节点
- 执行 debug reload 命令重新加载 redis 时会触发 bgsave 操作
- 执行 shutdown 命令时,如果没有开启 aof 持久化,会触发 bgsave 操作
3|0只追加日志文件(Append Only File)
这种方式可以将所有客户端执行的写命令记录到日志文件中,以此记录数据发生的变化。只要 Redis 从头到尾执行一次 AOF 文件所包含的所有写命令,就可以恢复 AOF 文件的记录的数据集
1. 触发 AOF 持久化
redis 默认配置没有开启 AOF 持久化机制,需要在 redis.conf 开启
# yes:开启AOF持久化 no:关闭AOF持久化
appendonly yes
# 指定生成AOF文件名称
appendfilename "appendonly.aof"
# 指定存储AOF文件的文件夹名称
appenddirname "appendonlydir"
# AOF文件的保存位置和RDB文件的位置相同,都是通过dir参数设置
dir ./
从 Redis7 版本开始,使用一组 aof 文件记录数据,分为两种基本类型:
- 基本文件,表示文件创建时的完整的数据,可以是 rdb 或 aof 内容格式
- 增量文件,记录前一个文件之后的新增命令
- 清单文件,追踪文件的创建和使用顺序
文件名是以 appendfilename 前缀,后面跟着序号和类型,因此 aof 文件目录里生成的文件大概有:
- 基本文件 appendonly.aof.1.base.rdb
- 增量文件 appendonly.aof.1.incr.aof,appendonly.aof.2.incr.aof......
- 清单文件 appendonly.aof.manifest
2. 写回策略
Redis 是先执行写操作命令,再将该命令记录到 AOF 日志,只有写操作命令执行成功,才会进行记录,这两个操作都在主线程进行,都会占用磁盘 I/O,因此 AOF 日志写回磁盘的时机很重要
写回策略分为三种:
- always(谨慎使用):每条 Redis 操作命令都会写入磁盘,最多丢失一条数据
- everysec(默认):每秒钟写入一次磁盘,最多丢失一秒的数据
- no(不推荐):由操作系统决定何时写入磁盘,Linux 默认 30s 写入一次数据至磁盘
配置项如下:
appendfsync everysec
至于这三种策略是如何实现的,其实只是在控制 fsync() 函数的调用时机
当应用程序向文件写入数据时,内核通常先将数据复制到内核缓冲区中,然后排入队列,然后由内核决定何时写入硬盘
如果想要应用程序向文件写入数据后,能立马将数据同步到硬盘,就可以调用 fsync() 函数,这样内核就会将内核缓冲区的数据直接写入到硬盘,等到硬盘写操作完成后,该函数才会返回
- Always 策略就是每次写入 AOF 文件数据后,就执行 fsync() 函数
- Everysec 策略就会创建一个异步任务来执行 fsync() 函数
- No 策略就是永不执行 fsync() 函数
3. 重写 AOF 文件
AOF 持久化机制会记录每个写命令,因此 AOF 文件会越来越大,会影响数据恢复的效率。AOF 文件重写会将内存中的数据库内容用命令的方式重写一个新的 aof 文件,替换原有文件,减小 aof 文件体积
3.1 触发重写的方式
第一种方式:客户端执行 BGREWRITEAOF 命令触发重写,不会阻塞 redis 服务
第二种方式:在服务器配置自动触发
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
如上配置,启用 AOF 持久化后,当 AOF 文件体积大于 64 M,并且 AOF 文件体积比上次重写之后体积大了至少一倍时,会自动触发重写
指定百分比为 0 可以禁用自动 AOF 重写
auto-aof-rewrite-percentage 0
3.2 重写流程
- bgrewriteaof 触发重写,判断是否当前有 bgsave 或 bgrewriteaof 在运行,如果有,则等待该命令结束后再继续执行
- 主进程 fork 出子进程执行重写操作,保证主进程不会阻塞
- 子进程遍历 redis 内存中数据到临时文件,客户端的写请求同时写入 aof_buf 缓冲区和 aof_rewrite_buf 重写缓冲区,保证原 AOF 文件完整以及新 AOF 文件生成期间的新的数据修改动作不会丢失
- 子进程写完新的 AOF 文件后,向主进程发信号,父进程更新统计信息。主进程把 aof_rewrite_buf 中的数据写入到新的 AOF 文件
- 使用新的 AOF 文件覆盖旧的 AOF 文件,完成 AOF 重写
4. 其他配置
# 前面讲过,AOF是调用fsync()函数将写操作记录写回磁盘,这会占用一定的磁盘I/O
# 如果设为yes,相当于appendfsync no,不会执行写磁盘操作,只是写入缓冲区,缓解磁盘压力
no-appendfsync-on-rewrite no
# 在Redis启动过程中,当AOF数据重新加载回内存时,可能会发现AOF文件在最后被截断
# 如果设置为yes,则加载一个截断的AOF文件,并通过日志告诉用户该事件
# 如果设置为no,服务器将因错误而中止并拒绝启动,用户需要使用“redis-check-aof”实用程序修复AOF文件
aof-load-truncated yes
# 开启混合持久化,下面会提到
aof-use-rdb-preamble yes
# 支持在aof中记录时间戳,可以在特定时间恢复数据,但会改变aof格式,可能跟已经存在的aof文件不兼容
aof-timestamp-enabled no
4|0RDB 和 AOF 混合方式
Redis4.0 提出了一个混合使用 AOF 日志和内存快照的方法,混合持久化同样也是通过 bgrewriteaof 重写命令完成的,不同的是,当开启混合持久化后,fork 出的子进程先将共享的内存副本全量的以 RDB 方式写入 aof 文件,然后在将重写缓冲区的增量命令以 AOF 方式写入到文件,写入完成后通知主进程更新统计信息,并将新的含有 RDB 格式和 AOF 格式的 AOF 文件替换旧的的 AOF 文件
配置如下:
aof-use-rdb-preamble yes
5|0备份数据
备份 RDB 文件只需将其拷贝到安全的地方,服务器运行时复制 RDB 文件很安全,因为 RDB 文件一旦创建就不会修改了
备份 AOF 在 Redis7.0.0 之前也可直接拷贝,但 7.0.0 版本之后会在 aof 文件夹下有多个文件,在 aof 重写时拷贝可能会得到无法使用的文件,所以在备份时需要关闭 aof 重写,步骤:
- 关闭自动 aof 重写:CONFIG SET auto-aof-rewrite-percentage 0
- 确保在此期间没有手动 BGREWRITEAOF 启动重写
- 检查是否正在重写,查询 INFO persistence,如果返回1,则要等待重写完成
- 将 aof 文件夹拷贝到安全地方
- 重新打开自动 aof 重写:CONFIG SET auto-aof-rewrite-percentage <prev-value>
相关推荐
- 【推荐】一个开源免费、AI 驱动的智能数据管理系统,支持多数据库
-
如果您对源码&技术感兴趣,请点赞+收藏+转发+关注,大家的支持是我分享最大的动力!!!.前言在当今数据驱动的时代,高效、智能地管理数据已成为企业和个人不可或缺的能力。为了满足这一需求,我们推出了这款开...
- Pure Storage推出统一数据管理云平台及新闪存阵列
-
PureStorage公司今日推出企业数据云(EnterpriseDataCloud),称其为组织在混合环境中存储、管理和使用数据方式的全面架构升级。该公司表示,EDC使组织能够在本地、云端和混...
- 对Java学习的10条建议(对java课程的建议)
-
不少Java的初学者一开始都是信心满满准备迎接挑战,但是经过一段时间的学习之后,多少都会碰到各种挫败,以下北风网就总结一些对于初学者非常有用的建议,希望能够给他们解决现实中的问题。Java编程的准备:...
- SQLShift 重大更新:Oracle→PostgreSQL 存储过程转换功能上线!
-
官网:https://sqlshift.cn/6月,SQLShift迎来重大版本更新!作为国内首个支持Oracle->OceanBase存储过程智能转换的工具,SQLShift在过去一...
- JDK21有没有什么稳定、简单又强势的特性?
-
佳未阿里云开发者2025年03月05日08:30浙江阿里妹导读这篇文章主要介绍了Java虚拟线程的发展及其在AJDK中的实现和优化。阅前声明:本文介绍的内容基于AJDK21.0.5[1]以及以上...
- 「松勤软件测试」网站总出现404 bug?总结8个原因,不信解决不了
-
在进行网站测试的时候,有没有碰到过网站崩溃,打不开,出现404错误等各种现象,如果你碰到了,那么恭喜你,你的网站出问题了,是什么原因导致网站出问题呢,根据松勤软件测试的总结如下:01数据库中的表空间不...
- Java面试题及答案最全总结(2025版)
-
大家好,我是Java面试陪考员最近很多小伙伴在忙着找工作,给大家整理了一份非常全面的Java面试题及答案。涉及的内容非常全面,包含:Spring、MySQL、JVM、Redis、Linux、Sprin...
- 数据库日常运维工作内容(数据库日常运维 工作内容)
-
#数据库日常运维工作包括哪些内容?#数据库日常运维工作是一个涵盖多个层面的综合性任务,以下是详细的分类和内容说明:一、数据库运维核心工作监控与告警性能监控:实时监控CPU、内存、I/O、连接数、锁等待...
- 分布式之系统底层原理(上)(底层分布式技术)
-
作者:allanpan,腾讯IEG高级后台工程师导言分布式事务是分布式系统必不可少的组成部分,基本上只要实现一个分布式系统就逃不开对分布式事务的支持。本文从分布式事务这个概念切入,尝试对分布式事务...
- oracle 死锁了怎么办?kill 进程 直接上干货
-
1、查看死锁是否存在selectusername,lockwait,status,machine,programfromv$sessionwheresidin(selectsession...
- SpringBoot 各种分页查询方式详解(全网最全)
-
一、分页查询基础概念与原理1.1什么是分页查询分页查询是指将大量数据分割成多个小块(页)进行展示的技术,它是现代Web应用中必不可少的功能。想象一下你去图书馆找书,如果所有书都堆在一张桌子上,你很难...
- 《战场兄弟》全事件攻略 一般事件合同事件红装及隐藏职业攻略
-
《战场兄弟》全事件攻略,一般事件合同事件红装及隐藏职业攻略。《战场兄弟》事件奖励,事件条件。《战场兄弟》是OverhypeStudios制作发行的一款由xcom和桌游为灵感来源,以中世纪、低魔奇幻为...
- LoadRunner(loadrunner录制不到脚本)
-
一、核心组件与工作流程LoadRunner性能测试工具-并发测试-正版软件下载-使用教程-价格-官方代理商的架构围绕三大核心组件构建,形成完整测试闭环:VirtualUserGenerator(...
- Redis数据类型介绍(redis 数据类型)
-
介绍Redis支持五种数据类型:String(字符串),Hash(哈希),List(列表),Set(集合)及Zset(sortedset:有序集合)。1、字符串类型概述1.1、数据类型Redis支持...
- RMAN备份监控及优化总结(rman备份原理)
-
今天主要介绍一下如何对RMAN备份监控及优化,这里就不讲rman备份的一些原理了,仅供参考。一、监控RMAN备份1、确定备份源与备份设备的最大速度从磁盘读的速度和磁带写的带度、备份的速度不可能超出这两...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- oracle位图索引 (63)
- oracle批量插入数据 (62)
- oracle事务隔离级别 (53)
- oracle 空为0 (50)
- oracle主从同步 (55)
- oracle 乐观锁 (51)
- redis 命令 (78)
- php redis (88)
- redis 存储 (66)
- redis 锁 (69)
- 启动 redis (66)
- redis 时间 (56)
- redis 删除 (67)
- redis内存 (57)
- redis并发 (52)
- redis 主从 (69)
- redis 订阅 (51)
- redis 登录 (54)
- redis 面试 (58)
- 阿里 redis (59)
- redis 搭建 (53)
- redis的缓存 (55)
- lua redis (58)
- redis 连接池 (61)
- redis 限流 (51)