百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

redis持久化机制(redis持久化机制版本)

mhr18 2024-11-16 23:26 17 浏览 0 评论

  • aof 机制
  • 如何配置 AOF?aof 写回策略aof 重写机制
  • redis 利用 aof 还原数据的过程
  • rdb 机制(快照)触发方式如何保存和载入
  • 搭建
  • redis 和 mysql 对比

为什么有持久化机制背景

通过 redis 操作数据时,更多的时候是通过内存和 cpu 打交道,所以会特别快,但是内存有个缺点就是,一断电内存中的数据就没有了,那 redis 作者还是想尽可能的不丢失内存中的数据,所以 redis 也有自己的持久化机制。

aof 机制

redis 执行完命令,会将执行成功的命令写入 aof 日志,当 redis 宕机后,恢复数据可以通过 aof 日志重新执行命令即可。

如何配置 AOF?

默认情况下,Redis 是没有开启 AOF 的,可以通过配置 redis.conf 文件来开启 AOF 持久化,关于 AOF 的配置如下:

# appendonly参数开启AOF持久化 默认不开启
appendonly no

# AOF持久化的文件名,默认是appendonly.aof
appendfilename "appendonly.aof"

# AOF文件的保存位置和RDB文件的位置相同,都是通过dir参数设置的
dir ./

# 写回策略
# 每次执行命令保存一次
# appendfsync always
# 每秒保存一次
appendfsync everysec
# 由操作系统决定何时保存
# appendfsync no

# aof重写期间是否同步
no-appendfsync-on-rewrite no

# 重写触发配置
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb

# 加载aof出错如何处理
aof-load-truncated yes

# 文件重写策略
aof-rewrite-incremental-fsync yes

aof 写回策略

因为 redis 写 aof 日志到磁盘具有风险:

  1. 命令执行完,aof 日志还没来得及写入磁盘,宕机了,那么这个时间段内的数据不能被恢复。
  2. 因为写入 aof 日志是使用主线程,如果写入磁盘数据变慢,会影响下面的命令操作。

所以开发者将 aof 日志写回磁盘的策略提取出来,方便不同场景来不同使用

  • Always 同步写回:每个写命令执行完,立马同步地将日志写回磁盘;
  • Everysec 每秒写回:每个写命令执行完,只是先把日志写到 AOF 文件的内存缓冲区,每隔一秒把缓冲区中的内容写入磁盘;
  • No 操作系统控制的写回:每个写命令执行完,只是先把日志写到 AOF 文件的内存缓冲区,由操作系统决定何时将缓冲区内容写回磁盘。

写回策略视情况而定,如果你的系统要求数据一点也不能丢,对性能没有太高的要求 可以选择 Always,如果系统可以接受丢失一点数据,那么最好选择Everysec,No不推荐,可能会发生自己控制不了的结果。

aof 重写机制

因为 redis aof 日志不断地 append 会越来越大,影响效率;

  1. 影响插入效率,命令执行的效率;
  2. 使用 aof 日志恢复的消耗的时间也会变;

所以有了重写日志机制

大概逻辑:将相同键的操作,移除之前的,保留最新的一条(清除冗余命令)

aof 重写过程

一个拷贝,两处日志

  1. 拷贝:主线程 fork 子进程,将主线程的内存拷贝一份(这时候只是拷贝数据结构和指针,真正开辟内存空间是在主线程执行写命令的时候
  2. 两处日志:主线程执行写操作命令时,会同时写入 aof 日志的缓存区和新的 aof 重写日志的缓存区,缓存区的数据都会刷入到各自的磁盘文件中,如果 aof 重写日志同步完后,重命名然后替换原来的 aof 文件


注意上图的不是子线程,而是子进程!

使用子进程,而不是子线程是为了减少对资源的竞争

redis 利用 aof 还原数据的过程

  1. 建立无网络连接的伪客户端
  2. 读取 aof 文件一条命令
  3. 伪客户端执行命令
  4. 重复(2,3)直到全部执行完毕

rdb 机制(快照)

RDB 是 Redis 用来进行持久化的一种方式,是把当前内存中的数据集快照写入磁盘,也就是 Snapshot 快照(数据库中所有键值对数据)。恢复时是将快照文件直接读到内存里。RDB 文件是一个经过压缩的二进制文件,由多个部分组成。

触发方式

手动执行命令和自动执行命令

如何保存和载入

保存命令

SAVE

save 命令会阻塞 redis 服务器进程,这时 redis 会拒绝其他命令,直到 save 命令结束


BGSAVE

bgsave 命令会 fork 一个子线程,用来执行保存 rdb 日志操作,父进程仍然可以执行命令

自动性间隔保存

redis save 策略配置

save 900 1:表示900秒(15分钟)内至少有1个key的值发生变化,则执行
save 300 10:表示300秒(5分钟)内至少有1个key的值发生变化,则执行
save 60 10000:表示60秒(1分钟)内至少有10000个key的值发生变化,则执行
save "": 该配置将会关闭RDB方式的持久化

redis 当中会有 saveparams 数组 保存下策略,redis 会有一个定时任务(默认 100ms)去检查保存条件是否满足,满足则执行 bgsave 命令


redis 记录 rdb 快照时,如何不阻塞主线程?

一般我们拍照时,如果有人晃动了,那照片也得重新拍,所以拍照时必要保证被拍照的人静止,也就是内存中的数据不变。

redis 保存快照也是这样,先说保存快照的过程:

当进行快照记录时,主线程会 fork 出子进程,fork 会阻塞主线程,子进程和主线程此时共享一块内存空间,主线程可以继续接受命令,执行命令,子进程对内存中的数据进行日志记录,但是这就会有一个问题,子进程不能对正在修改的数据进行日志记录(如果数据一直变动,那岂不是每次记录还得校验下每块数据是否有变动,大大降低记录的效率,这感觉有点像 java 的 list 集合,遍历时不允许对集合中的数据做删除,添加操作)

你可能会想到,可以用 bgsave 避免阻塞啊。这里我就要说到一个常见的误区了,避免阻塞和正常处理写操作并不是一回事。此时,主线程的确没有阻塞,可以正常接收请求,但是,为了保证快照完整性,它只能处理读操作,因为不能修改正在执行快照的数据。

redis 的作者利用了操作系统提供的 COW (copy on write)技术,当主线程对某一块数据进行操作(增删改)时,这时主线程会复制一份副本出来,子线程的数据地址修改为新的副本的地址,这样主线程和子进程就会不影响,既主线程可以接受命令,子进程进行日志记录啦。


载入 rdb 文件

redis 启动默认会自动载入 rdb 日志,载入时服务器会一直处于阻塞状态,直到载入完成


载入的优先级

因为一般 aof 的日志更加全面(更新频率通常比 rdb 高),所以 redis 会优先加载 aof 日志,如果开启 aof 优先使用 aof 日志还原数据库数据

aof 关闭时,会采用 rdb 文件恢复日志


bgsave 命令和 save bgsave bgrewriteaof 命令之间执行的关系

  • bgsave 和 save 不能同时执行,因为 save 会阻塞服务器进程
  • bgsave 和 bgsave 也不能同时进行,因为 bgsave 会 fork 出子进程,可能会有资源竞争情况
  • bgsave 和 bgrewriteaof ,按道理不影响,但是出于性能考虑,不建议出现两个进程大量写操作。

搭建

docker 方式搭建 redis(版本为 7.0.5)

事先在/etc/redis/ 放 redis.conf 文件 可以在redis.conf 文件下载

启动忘记指定 redis.conf 文件 还得半天没有出现 aof 日志 因为 aof 默认是关闭的

docker run -p 6379:6379 --name myredis -v /usr/local/docker/redis/redis.conf:/etc/redis/redis.conf -v /usr/local/docker/redis/data:/data -d registory.dongshanxia.top:35000/redis:latest redis-server /etc/redis/redis.conf --appendonly yes


查看 aof 文件内容

cat appendonly.aof.1.incr.aof

查看 rdb 文件内容 打印出来的是十六进制 可以使用onlinehexeditor转换

od -A x -t x1c -v dump.rdb


redis 开启混合持久化

redis 和 mysql 对比

mysql: 在事务提交时,数据写入缓存池,redo log 文件写入磁盘才算事务结束,mysql 服务宕机时,会利用 redo log 恢复 已提交事务 但是未写入磁盘的数据。先写日志,再写磁盘

redis: aof 先执行命令,再写 aof 日志(好处就是 1.避免错误命令被记录,导致恢复数据有问题,2.不会阻塞命令执行操作)先写磁盘,再写日志

引用 《redis 设计与实现》

欢迎关注 ggball blog 公众号

相关推荐

【推荐】一个开源免费、AI 驱动的智能数据管理系统,支持多数据库

如果您对源码&技术感兴趣,请点赞+收藏+转发+关注,大家的支持是我分享最大的动力!!!.前言在当今数据驱动的时代,高效、智能地管理数据已成为企业和个人不可或缺的能力。为了满足这一需求,我们推出了这款开...

Pure Storage推出统一数据管理云平台及新闪存阵列

PureStorage公司今日推出企业数据云(EnterpriseDataCloud),称其为组织在混合环境中存储、管理和使用数据方式的全面架构升级。该公司表示,EDC使组织能够在本地、云端和混...

对Java学习的10条建议(对java课程的建议)

不少Java的初学者一开始都是信心满满准备迎接挑战,但是经过一段时间的学习之后,多少都会碰到各种挫败,以下北风网就总结一些对于初学者非常有用的建议,希望能够给他们解决现实中的问题。Java编程的准备:...

SQLShift 重大更新:Oracle→PostgreSQL 存储过程转换功能上线!

官网:https://sqlshift.cn/6月,SQLShift迎来重大版本更新!作为国内首个支持Oracle->OceanBase存储过程智能转换的工具,SQLShift在过去一...

JDK21有没有什么稳定、简单又强势的特性?

佳未阿里云开发者2025年03月05日08:30浙江阿里妹导读这篇文章主要介绍了Java虚拟线程的发展及其在AJDK中的实现和优化。阅前声明:本文介绍的内容基于AJDK21.0.5[1]以及以上...

「松勤软件测试」网站总出现404 bug?总结8个原因,不信解决不了

在进行网站测试的时候,有没有碰到过网站崩溃,打不开,出现404错误等各种现象,如果你碰到了,那么恭喜你,你的网站出问题了,是什么原因导致网站出问题呢,根据松勤软件测试的总结如下:01数据库中的表空间不...

Java面试题及答案最全总结(2025版)

大家好,我是Java面试陪考员最近很多小伙伴在忙着找工作,给大家整理了一份非常全面的Java面试题及答案。涉及的内容非常全面,包含:Spring、MySQL、JVM、Redis、Linux、Sprin...

数据库日常运维工作内容(数据库日常运维 工作内容)

#数据库日常运维工作包括哪些内容?#数据库日常运维工作是一个涵盖多个层面的综合性任务,以下是详细的分类和内容说明:一、数据库运维核心工作监控与告警性能监控:实时监控CPU、内存、I/O、连接数、锁等待...

分布式之系统底层原理(上)(底层分布式技术)

作者:allanpan,腾讯IEG高级后台工程师导言分布式事务是分布式系统必不可少的组成部分,基本上只要实现一个分布式系统就逃不开对分布式事务的支持。本文从分布式事务这个概念切入,尝试对分布式事务...

oracle 死锁了怎么办?kill 进程 直接上干货

1、查看死锁是否存在selectusername,lockwait,status,machine,programfromv$sessionwheresidin(selectsession...

SpringBoot 各种分页查询方式详解(全网最全)

一、分页查询基础概念与原理1.1什么是分页查询分页查询是指将大量数据分割成多个小块(页)进行展示的技术,它是现代Web应用中必不可少的功能。想象一下你去图书馆找书,如果所有书都堆在一张桌子上,你很难...

《战场兄弟》全事件攻略 一般事件合同事件红装及隐藏职业攻略

《战场兄弟》全事件攻略,一般事件合同事件红装及隐藏职业攻略。《战场兄弟》事件奖励,事件条件。《战场兄弟》是OverhypeStudios制作发行的一款由xcom和桌游为灵感来源,以中世纪、低魔奇幻为...

LoadRunner(loadrunner录制不到脚本)

一、核心组件与工作流程LoadRunner性能测试工具-并发测试-正版软件下载-使用教程-价格-官方代理商的架构围绕三大核心组件构建,形成完整测试闭环:VirtualUserGenerator(...

Redis数据类型介绍(redis 数据类型)

介绍Redis支持五种数据类型:String(字符串),Hash(哈希),List(列表),Set(集合)及Zset(sortedset:有序集合)。1、字符串类型概述1.1、数据类型Redis支持...

RMAN备份监控及优化总结(rman备份原理)

今天主要介绍一下如何对RMAN备份监控及优化,这里就不讲rman备份的一些原理了,仅供参考。一、监控RMAN备份1、确定备份源与备份设备的最大速度从磁盘读的速度和磁带写的带度、备份的速度不可能超出这两...

取消回复欢迎 发表评论: