Redis RDB持久化（redis持久化操作）
mhr18 2024-11-02 11:54 44 浏览 0 评论
redis持久化
redis提供了两种把内存数据持久化到磁盘的方式，RDB快照方式和AOF日志方式。
不论使用那种方式，都无法保证redis数据一点都不丢失。rdb只是redis在某一时刻的数据快照snapshot，数据丢失程度主要取决于距离上次做snapshot的时间间隔，越近的snapshot丢失的数据越少。
AOF（appendonly file）在很多人眼里，是不会丢失数据。然而AOF也存在数据丢失的状况，因为AOF并不是传统RDBMS的WAL日志（Wrtite Ahead Log，或者说是commit log）。aof是redis在命令执行成功之后，才写入到磁盘上日志。如果命令执行成功，而fsync操作没有执行，即数据没有写入到磁盘，那么存在数据丢失。
下面的内容主要讨论RDB快照持久化方式在生产中存在的一个些问题，主要是rdb引起的memory swap或者disk io性能问题，
1、RDB快照产生
1）redis开启save参数，redis根据数据update频率决定是否执行rdb操作（bgsave）。
2）手动执行save/bgsave命令，包括执行shutdown命令。
3）redis slave请求full sync。包括第一次建立主从关系请求full sync，或者psync失败的时候请求full sync。在2.8版本以前，不支持psync，每次网络抖动或者失去连接都会造成full sync，比较头疼事情。
不管是住save参数触发的rd.持久化或者slave请求full sync引起的rdb持久化，都会导致redis的一些性能问题，特别是单物理机部署多redis实例（端口）时，很容易引发redis性能问题。
2、生产环境下save参数设置
单台物理机部署了多个redis实例（8-16个），机器内存大小64G或者128GB，磁盘存储为两块sas盘做raid1。
我的生产环境下，主从redis实例都关闭了save参数（config set save “”），即redis不会主动执行rdb操作（bgsave）。
主要原因：
1）redis开启save参数，bgsave行为无法主动控制。在业务高峰期同一物理机上多个redis同时进行bgsave，潜在的隐患是：1）机器内存不足，导致出现memory swap，redis性能下降；2）多个rdb操作，导致磁盘出现io瓶颈，系统load持续上升。
2）从库也不开启save参数的原因：内存不足和磁盘io压力过大，导致redis复制超时（默认60s），或者psync不成，多个redis slave同时请求master执行full sync，触发主库开始执行bgsave。
单机多redis实例部署模式下，内存和磁盘io很容易造成redis性能下降。
如果开启bgsave参数，建议磁盘的性能足够好，比如使用ssd盘，或者多块sas盘做raid10。另外机器的物理内存足够大, 且保留充足内存给bgsave完成COW操作（copy-on-write）。
参考文档：
1） Redis latency problems troubleshooting
相关推荐
- 软考架构师-案例分析之Redis（软考架构师真题）
-
软考架构师考试中，Redis的知识考了很多回，从最近几年来看，案例分析经常考，有的时候单独考，有的时候和其他知识点一起考。Redis过往的考试中，考过的知识如下：1、Redis特点，涉及数据类型、持久...
- 揭秘:视频播放网站如何精准记录用户观看进度
-
在互联网蓬勃发展的当下，视频内容已毫无争议地成为人们获取信息、享受娱乐休闲时光的核心方式。据权威数据统计，全球每天有数十亿小时的视频被观看，视频流量在网络总流量中的占比逐年攀升，预计在未来几年内将超过...
- 量子级一致性!Flink+Redis全局状态管理
-
百万级实时计算任务如何实现亚毫秒级状态访问？本文揭秘Flink+Redis的量子纠缠态状态管理方案，将状态延迟降至0.3ms。引子：实时风控系统的量子跃迁//传统Flink状态管理（基于RocksD...
- 在 Mac 上运行 Redis 的 Docker 容器
-
在Mac上运行Redis的Docker容器，你可以按以下步骤操作，非常简单高效：一、前提要求已安装DockerDesktopforMac可通过终端验证Docker是否可用：d...
- 从 0 到 1:使用 Nginx + Lua 打造高性能 Web 网关
-
在大规模分布式架构中，Web网关扮演着重要角色，负责请求转发、负载均衡、限流、认证等功能。而Nginx+Lua结合可以提供：o高性能：Nginx是目前最流行的高性能Web服务器o动...
- 外贸独立站缓存设置黑科技:用错Redis比没缓存更致命
-
上周帮一个杭州卖家排查网站崩溃问题，发现这老铁把Redis缓存设置成128MB还开着持久化，服务器内存直接炸得比春节红包还彻底——"你这哪是缓存啊，根本是DDoS攻击自己！"最近Clo...
- Spring Boot3 整合 Redis，这些缓存注解你真的会用吗?
-
你在开发SpringBoot3项目时，有没有遇到过这样的困扰？随着项目功能不断增加，数据量逐渐庞大，接口响应速度变得越来越慢，用户体验直线下降。好不容易找到优化方向——引入Redis缓存...
- MySQL处理并发访问和高负载的关键技术和策略
-
MySQL处理并发访问和高负载的关键技术和策略主要包括以下几个方面：一、硬件优化1.CPU：提升CPU处理能力可以明显改善并发处理性能。根据数据库负载，考虑使用更多的CPU核心。2.内存：增加内存可以...
- druid解决高并发的数据库（druid多数据源配置 spring boot）
-
处理高并发的时候可以解决我们java一个核心问题java核心问题就是并发问题解决并发一个是redis一个是线程池的方式现在出来是个druid好像现在解决高并发的方式进行更换数据库的方式操作场景插入频繁...
- 高并发方案最全详解(8大常见方案)
-
关注△mikechen△，十余年BAT架构经验倾囊相授！大家好，我是mikechen睿哥。高并发是大型架构的核心，下面我重点来详解常见8大高并发方案@mikechen文章来源：mikechen.cc分...
- MySQL如何处理并发访问和高负载?（mysql如何处理并发访问和高负载访问）
-
MySQL在处理并发访问和高负载方面，采取了一系列关键技术和策略，以确保数据库系统在面对不断增长的并发需求时维持高效和稳定的性能。以下是对这些技术和策略的详细阐述，旨在全面解析MySQL如何处理并发访...
- Redis高可用集群详解（redis高可用方案以及优缺点）
-
Redis集群与哨兵架构对比Redis哨兵架构在redis3.0以前的版本要实现集群一般是借助哨兵sentinel工具监控master节点状态，如果master节点异常，则会做主从切换，将某一台sla...
- MCP协议重大升级!Spring AI联合阿里Higress，性能提升300%
-
引言：一场颠覆AI通信的技术革命2025年3月，MCP（ModelContextProtocol）协议迎来里程碑式升级——StreamableHTTP正式取代HTTP+SSE成为默认传输层。这一...
- 阿里三面被挂，幸获内推，历经5轮终于拿到口碑offer
-
作者：Java程序猿阿谷来源：https://www.jianshu.com/p/1c8271f03aa5每一个互联网人心中都有一个大厂梦，百度、阿里巴巴、腾讯是很多互联网人梦寐以求的地方，而我也不例...
- 来瞧瞧阿里一面都面些什么(笔试+机试)
-
絮叨说实话，能有机会面一下阿里对我来说帮助确实有蛮多，至少让我知道了自己的不足在哪，都说面试造火箭，上班拧螺丝。但就算是如此，为了生存，你也只有不停的学习，唯有光头，才能更强。哈哈起因2月28日在Bo...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- oracle位图索引 (74)
- oracle批量插入数据 (65)
- oracle事务隔离级别 (59)
- oracle主从同步 (56)
- oracle 乐观锁 (53)
- redis 命令 (83)
- php redis (97)
- redis 存储 (67)
- redis 锁 (74)
- 启动 redis (73)
- redis 时间 (60)
- redis 删除 (69)
- redis内存 (64)
- redis并发 (53)
- redis 主从 (71)
- redis同步 (53)
- redis结构 (53)
- redis 订阅 (54)
- redis 登录 (62)
- redis 面试 (58)
- redis问题 (54)
- 阿里 redis (67)
- redis的缓存 (57)
- lua redis (59)
- redis 连接池 (61)