详解Redis主从复制原理(redis主从复制getshell)
mhr18 2024-11-07 11:03 23 浏览 0 评论
? 文章首发于公众号 “蘑菇睡不着” ?
前言
Redis 的主从复制和 MySQL 差不多,主要起着 数据备份,读写分离等作用。所以说主从复制对 Redis 来说非常重要,而无论是面试还是工作总,了解 「Redis主从复制」 底层实现有非常有必要,那么接下来就和大家来看看 Redis 主从复制是怎么实现的吧。
什么是 Redis 主从复制?
在 Redis 中,我们可以通过 SLAVEOF 命令或者 slaveof 选项,让一个服务器去复制另一个服务器,被复制的服务器称为“「主服务器」”,发起复制的服务器称为“「从服务器」”,由两种服务器组成的模式称为“「主从复制」”。
Redis 主从复制有以下特点:
- Redis 使用异步复制,slave 和 master 之间异步地确认处理的数据量。
- 一个 master 可以拥有多个 slave。
- slave 可以接受其他 slave 的连接。除了多个 slave 可以连接到同一个 master 之外, slave 之间也可以像层叠状的结构(cascading-like structure)连接到其他 slave 。自 Redis 4.0 起,所有的 sub-slave 将会从 master 收到完全一样的复制流。
- Redis 复制在 master 侧是非阻塞的。这意味着 master 在一个或多个 slave 进行初次同步或者是部分重同步时,可以继续处理查询请求。
- 复制在 slave 侧大部分也是非阻塞的。当然这个是可配的,如果在 「redis.conf」配置是「非阻塞」的,可以使用旧数据集处理查询请求;如果配置的是「阻塞」的,slave 会返回一个 error 给客户端。
怎么实现主从复制?
假设现在有两个 Redis 服务器,地址分别为 「127.0.0.1:6379」 和 「127.0.0.1:12345」,如果在服务器 「127.0.0.1:12345」 执行以下命令:
127.0.0.1:12345> SLAVEOF 127.0.0.1 6379
OK
那么服务器「127.0.0.1:12345」就是「127.0.0.1:6379」 的从服务器。「主从服务器的数据会保持一致」
比如主服务器存储数据:
127.0.0.1:6379> set msg "hello world"
OK
然后从服务器就能直接获取数据:
127.0.0.1:12345>get msg
"hello world"
删除数据也是一样,主从会保持一致。
主从复制原理
首先,Redis 的复制分为「同步」(sync)和「命令传播」(command propagate)两个操作:
- 同步操作用于将从服务器数据库的状态更新为主服务器所处的状态。
- 命令传播则相反,它主要作用在主服务器的数据库状态更改时,导致主从服务器的数据库状态出现不一致时,让主从回到一致的的过程。
接下来详细说说这两种复制。
同步
文字解说:
- 客户端向从服务器发送 「SLAVEOF」 命令,先是判断是否是第一次复制,第一次是复制一般是刚开始组建主从关系。
- 是第一次复制:从服务器会向主服务器发送 「PSYNC ? -1」 命令,请求主服务器执行「完整重同步」操作。
- 主服务器接到「完整重同步」请求之后,将在后台执行 「BGSAVE」 命令,在后台生成一个 「RDB」 文件,并使用一个「复制积压缓冲区」记录从现在开始执行的所有写命令。
- BGSAVE 命令执行完毕之后,主服务器会将 RDB 文件以及 缓冲区中记录的写命令发送给从服务器,还会向从服务器返回 「+FULLRESYNC [主服务器ID] [复制偏移量]」(和图中的 偏移量 是一个)。
- 从服务器接收到后,会载入 RDB 文件,并执行 主服务器给的 写命令,以此来达到和主服务器一致的数据状态。
- 如果不是第一次复制,那么说明从服务器可能是断线,导致和主服务器数据状态不一致,需要同步主服务器的数据。那么从服务器会按照下面的步骤来请求部分同步。
- 向主服务器发送 「PSYNC [主服务器ID] [复制偏移量]」(这个是第一次复制时主服务器传过来的),「主服务器ID」 时断线前的主服务器,用于定位去同步那个主服务器的;「复制偏移量」是上一次同步的位置,用于定位具体的同步位置的。
- 主服务器接收到从服务器的命令后,并找到相应同步的位置后,会给从服务器发送 「+CONTINUE」 命令,表示将于从服务器执行部分同步操作,之后主服务器会将保存在「复制积压缓冲区」对应 「复制偏移量」之后的所有数据发送给从服务器,但是如果找不到偏移量之后的数据,就会进行「完整同步」,这样就可以让从服务器达到和主服务器一致的状态。
命令传播
主从服务器同步成功后,并不会一致保持这个状态,主服务器可能会执行写命令,这也主从数据就不知一致了。
为了处理这种问题,「主服务器会把自己执行的写命令发送给从服务器,当从服务器执行完这些命令之后,主从服务器的数据就一致了」。
在命令传播阶段,从服务器默认会以每秒一次的频率,向主服务器发送命令:
「REPLCONF ACK <replication_offset>」
<replication_offset> 是从服务器当前的复制偏移量。
发送 REPLCONF ACK 命令对于主从服务器有三个作用:
- 检测主从服务器的网络状态。
- 辅助实现 min-slaves 选项。
- 检测命令丢失。
关键词讲解
- 「主服务器ID」:用于标识一个服务器。
- 每个服务器,无论是主服务器还是从服务器都有属于自己独一无二的 服务器ID。
- ID 在服务器启动时生成,由 40 个随机的十六进制字符组成。
- 「复制积压缓冲区」:复制积压缓冲区是由主服务器维护的一个固定长度、先进先出(FIFO)队列,默认大小为 1MB。如下:
总结
Redis 主从复制主要是通过 PSYNC 命令实现。
复制分为 「部分复制」 以及 「完整复制」。
部分复制通过 复制偏移量、复制积压缓冲区、服务器ID来实现。
完整复制通过 RDB 以及 复制积压缓冲区来实现。
主从复制主要解决的是 数据备份、读写分离的问题。
最后
如果觉得文章对你有帮助,点赞、关注、转发 统统走起来~
可以去公众号 「蘑菇睡不着」 看看,更多精彩内容等你。
相关推荐
- JDK从8升级到21的问题集(jdk8版本)
-
一、背景与挑战1.升级动因oOracle长期支持策略o现代特性需求:协程、模式匹配、ZGC等o安全性与性能的需求oAI新技术引入的版本要求2.项目情况o100+项目并行升级的协同作战o多技术栈并存o持...
- 科莱特SAP ABAP干货 | 基础篇:二、数据字典(1)
-
ABAP开发基础及应用二、数据字典(1)目标及说明目标:1、掌握SAP数据字典各种对象的定义和使用2、能根据业务数据要求,建立存储数据用的表和视图需求说明:1、在SAP中自建程序,以对一企业(自由行集...
- Mycat入门(mycatalog)
-
一、Linux系统下搭建Mycat注:如果没有服务器可以选择虚拟机进行操作1、首先准备好服务器或者虚拟机2、安装和配置MySQL数据库2.1、删除原来的数据库//查询已安装的mariadb[root...
- MySQL从入门到实战:表设计、索引优化与高频面试解析
-
一、业务场景驱动表设计:电商订单系统案例场景背景某电商平台需设计用户、商品、订单模块,要求支持以下操作:用户高频查询最新订单按商品分类+价格区间筛选商品统计每日订单金额建表实战--用户表(反范式设计...
- oracle生成AWR报告的两种方法(oracle中awr报告的输出格式有哪些)
-
方法1:sqlplus中执行:execdbms_workload_repository.create_snapshot();@?/rdbms/admin/awrrpt.sql方法2:setpage...
- Navicat Premium:数据库管理神器(navicat 本地数据库)
-
提供免费下载网站Mavom.cn在数据库管理的世界里,「NavicatPremium」是一款「一体化的数据库管理和迁移工具」,适用于MySQL、SQLServer、Oracle和PostgreSQ...
- Iperius Backup功能特色(backup如何使用)
-
备份作业:1.文件夹备份:本地的文件夹,带SMB的路径文件夹,网络路径文件夹,NAS文件夹等等2.文件备份:对某个文件进行备份3.备份镜像:可以把系统刻录成镜像用于恢复(图1)4.FTP:自带FTP...
- sql注入攻击,拿到网站账户,黑客这样神操作
-
首先的话,我们来仔细搞清楚这个攻击的流程,第一步就是了解一下,什么是sql?又什么是sql注入、sql注入的流程和步骤。1、首先什么是sql,Sql是一种数据库查询和程序设计的语言,这里的数据库是指存...
- Java 8 新特性指南(java的八大特性)
-
本教程可以在实验楼(shiyanlou.com)中在线练习。一、实验简介Java8是近年来最后起来的一个Java编程语言发行版本。Oracle在2014年3月发布了它。该版本为Java带来...
- Java系统开发从入门到精通第三讲(文字版)
-
下来我们进入数据持久化的部分,对于一个真实的业务系统,能够正常的运转离不开数据的持久化。在数据持久化这块,目前主流的还是关系型数据库(RDBMS),NoSQL(NewSQL)也有了长足发展,特别在大数...
- 扣细节:while (true) 和 for (;;) 哪个更快
-
来源:zhihu.com/question/52311366/answer/130090347在JDK8u的jdk项目下做个很粗略的搜索:mymbp:/Users/me/workspace/jdk8u...
- JAVA 8 环境安装配置(java环境怎么装)
-
一、下载这里选择的是OracleJDK,首先到Oracle官网下载JDK8,以Windows10操作系统为例,若是32位系统则下载“Windowsx86”,否则64位系统下载“Windows...
- 从零开始学Java系列之最详细的Java环境变量配置教程
-
前言:在上一篇文章中,壹哥给大家重点讲解了Java实现跨平台的原理,不知道你现在有没有弄清楚呢?如果你还有疑问,可以在评论区留言~之前的三篇文章,主要是理论性的内容,其实你暂时跳过不看也是可以的,我们...
- Linux下乱码的文件名修改或删除(linux文件名乱码如何处理)
-
查看文件名#lstouch1?.txt#ll-itotal1469445217956913-rw-r--r--1oracleoinstall0Jan18...
- 「论文写作-解决方案」数据库TDE加密
-
数据是应用的核心。对于绝大多数应用,存储数据的数据库是系统日常管理的重中之重。数据库安全背景根据verizon2014年的统计数据,96%数据攻击行为是针对数据库进行的。数据库已经成为外部入侵与内部渗...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- oracle位图索引 (74)
- oracle批量插入数据 (65)
- oracle事务隔离级别 (59)
- oracle 空为0 (51)
- oracle主从同步 (55)
- oracle 乐观锁 (51)
- redis 命令 (78)
- php redis (88)
- redis 存储 (66)
- redis 锁 (69)
- 启动 redis (66)
- redis 时间 (56)
- redis 删除 (67)
- redis内存 (57)
- redis并发 (52)
- redis 主从 (69)
- redis 订阅 (51)
- redis 登录 (54)
- redis 面试 (58)
- 阿里 redis (59)
- redis 搭建 (53)
- redis的缓存 (55)
- lua redis (58)
- redis 连接池 (61)
- redis 限流 (51)