百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

详解Redis主从复制原理(redis主从复制getshell)

mhr18 2024-11-07 11:03 18 浏览 0 评论

? 文章首发于公众号 “蘑菇睡不着” ?

前言

Redis 的主从复制和 MySQL 差不多,主要起着 数据备份,读写分离等作用。所以说主从复制对 Redis 来说非常重要,而无论是面试还是工作总,了解 「Redis主从复制」 底层实现有非常有必要,那么接下来就和大家来看看 Redis 主从复制是怎么实现的吧。

什么是 Redis 主从复制?

在 Redis 中,我们可以通过 SLAVEOF 命令或者 slaveof 选项,让一个服务器去复制另一个服务器,被复制的服务器称为“「主服务器」”,发起复制的服务器称为“「从服务器」”,由两种服务器组成的模式称为“「主从复制」”。

Redis 主从复制有以下特点:

  • Redis 使用异步复制,slave 和 master 之间异步地确认处理的数据量。
  • 一个 master 可以拥有多个 slave。
  • slave 可以接受其他 slave 的连接。除了多个 slave 可以连接到同一个 master 之外, slave 之间也可以像层叠状的结构(cascading-like structure)连接到其他 slave 。自 Redis 4.0 起,所有的 sub-slave 将会从 master 收到完全一样的复制流。
  • Redis 复制在 master 侧是非阻塞的。这意味着 master 在一个或多个 slave 进行初次同步或者是部分重同步时,可以继续处理查询请求。
  • 复制在 slave 侧大部分也是非阻塞的。当然这个是可配的,如果在 「redis.conf」配置是「非阻塞」的,可以使用旧数据集处理查询请求;如果配置的是「阻塞」的,slave 会返回一个 error 给客户端。

怎么实现主从复制?

假设现在有两个 Redis 服务器,地址分别为 「127.0.0.1:6379」「127.0.0.1:12345」,如果在服务器 「127.0.0.1:12345」 执行以下命令:

127.0.0.1:12345> SLAVEOF 127.0.0.1 6379
OK

那么服务器「127.0.0.1:12345」就是「127.0.0.1:6379」 的从服务器。「主从服务器的数据会保持一致」
比如主服务器存储数据:

127.0.0.1:6379> set msg "hello world"
OK

然后从服务器就能直接获取数据:

127.0.0.1:12345>get msg
"hello world"

删除数据也是一样,主从会保持一致。

主从复制原理

首先,Redis 的复制分为「同步」(sync)和「命令传播」(command propagate)两个操作:

  • 同步操作用于将从服务器数据库的状态更新为主服务器所处的状态。
  • 命令传播则相反,它主要作用在主服务器的数据库状态更改时,导致主从服务器的数据库状态出现不一致时,让主从回到一致的的过程。

接下来详细说说这两种复制。

同步

文字解说:

  1. 客户端向从服务器发送 「SLAVEOF」 命令,先是判断是否是第一次复制,第一次是复制一般是刚开始组建主从关系。
  2. 是第一次复制:从服务器会向主服务器发送 「PSYNC ? -1」 命令,请求主服务器执行「完整重同步」操作。
  3. 主服务器接到「完整重同步」请求之后,将在后台执行 「BGSAVE」 命令,在后台生成一个 「RDB」 文件,并使用一个「复制积压缓冲区」记录从现在开始执行的所有写命令。
  4. BGSAVE 命令执行完毕之后,主服务器会将 RDB 文件以及 缓冲区中记录的写命令发送给从服务器,还会向从服务器返回 「+FULLRESYNC [主服务器ID] [复制偏移量]」(和图中的 偏移量 是一个)。
  5. 从服务器接收到后,会载入 RDB 文件,并执行 主服务器给的 写命令,以此来达到和主服务器一致的数据状态。
  6. 如果不是第一次复制,那么说明从服务器可能是断线,导致和主服务器数据状态不一致,需要同步主服务器的数据。那么从服务器会按照下面的步骤来请求部分同步。
  7. 向主服务器发送 「PSYNC [主服务器ID] [复制偏移量]」(这个是第一次复制时主服务器传过来的),「主服务器ID」 时断线前的主服务器,用于定位去同步那个主服务器的;「复制偏移量」是上一次同步的位置,用于定位具体的同步位置的。
  8. 主服务器接收到从服务器的命令后,并找到相应同步的位置后,会给从服务器发送 「+CONTINUE」 命令,表示将于从服务器执行部分同步操作,之后主服务器会将保存在「复制积压缓冲区」对应 「复制偏移量」之后的所有数据发送给从服务器,但是如果找不到偏移量之后的数据,就会进行「完整同步」,这样就可以让从服务器达到和主服务器一致的状态。

命令传播

主从服务器同步成功后,并不会一致保持这个状态,主服务器可能会执行写命令,这也主从数据就不知一致了。
为了处理这种问题,
「主服务器会把自己执行的写命令发送给从服务器,当从服务器执行完这些命令之后,主从服务器的数据就一致了」

在命令传播阶段,从服务器默认会以每秒一次的频率,向主服务器发送命令:
「REPLCONF ACK <replication_offset>」
<replication_offset> 是从服务器当前的复制偏移量。
发送 REPLCONF ACK 命令对于主从服务器有三个作用:

  • 检测主从服务器的网络状态。
  • 辅助实现 min-slaves 选项。
  • 检测命令丢失。

关键词讲解

  1. 「主服务器ID」:用于标识一个服务器。
  • 每个服务器,无论是主服务器还是从服务器都有属于自己独一无二的 服务器ID。
  • ID 在服务器启动时生成,由 40 个随机的十六进制字符组成。
  1. 「复制积压缓冲区」:复制积压缓冲区是由主服务器维护的一个固定长度、先进先出(FIFO)队列,默认大小为 1MB。如下:

总结

Redis 主从复制主要是通过 PSYNC 命令实现。
复制分为
「部分复制」 以及 「完整复制」
部分复制通过 复制偏移量、复制积压缓冲区、服务器ID来实现。
完整复制通过 RDB 以及 复制积压缓冲区来实现。
主从复制主要解决的是 数据备份、读写分离的问题。

最后

如果觉得文章对你有帮助,点赞、关注、转发 统统走起来~

可以去公众号 「蘑菇睡不着」 看看,更多精彩内容等你。

相关推荐

redis 7.4.3更新!安全修复+性能优化全解析

一、Redis是什么?为什么选择它?Redis(RemoteDictionaryServer)是一款开源的高性能内存键值数据库,支持持久化、多数据结构(如字符串、哈希、列表等),广泛应用于缓存、消...

C# 读写Redis数据库的简单例子

CSRedis是一个基于C#的Redis客户端库,它提供了与Redis服务器进行交互的功能。它是一个轻量级、高性能的库,易于使用和集成到C#应用程序中。您可以使用NuGet包管理器或使用以下命令行命令...

十年之重修Redis原理

弱小和无知并不是生存的障碍,傲慢才是。--------面试者总结Redis可能都用过,但是从来没有理解过,就像一个熟悉的陌生人,本文主要讲述了Redis基本类型的使用、数据结构、持久化、单线程模型...

高频L2行情数据Redis存储架构设计(含C++实现代码)

一、Redis核心设计原则内存高效:优化数据结构,减少内存占用低延迟访问:单次操作≤0.1ms响应时间数据完整性:完整存储所有L2字段实时订阅:支持多客户端实时数据推送持久化策略:RDB+AOF保障数...

Magic-Boot开源引擎:零代码玩转企业级开发,效率暴涨!

一、项目介绍基于magic-api搭建的快速开发平台,前端采用Vue3+naive-ui最新版本搭建,依赖较少,运行速度快。对常用组件进行封装。利用Vue3的@vue/compiler-sfc单文...

项目不行简历拉胯?3招教你从面试陪跑逆袭大厂offer!

项目不行简历拉胯?3招教你从面试陪跑逆袭大厂offer!老铁们!是不是每次面试完都感觉自己像被大厂面试官婉拒的渣男?明明刷了三个月题库,背熟八股文,结果一被问项目就支支吾吾,简历写得像大学生课程设计?...

谷歌云平台:开发者部署超120个开源包

从国外相关报道了解,Google与Bitnami合作为Google云平台增加了一个新的功能,为了方便开发人员快捷部署程序,提供了120余款开源应用程序云平台的支持。这些应用程序其中包括了WordPre...

知名互联网公司和程序员都看好的数据库是什么?

2017年数据库领域的最大趋势是什么?什么是最热的数据处理技术?学什么数据库最有前途?程序员们普遍不喜欢的数据库是什么?本文都会一一揭秘。大数据时代,数据库的选择备受关注,此前本号就曾揭秘国内知名互联...

腾讯云发布云存储MongoDB服务

近日,著名安全专家兼Shodan搜索引擎的创建者JohnMatherly发现,目前至少有35000个受影响的MongoDB数据库暴露在互联网上,它们所包含的数据暴露在网络攻击风险之中。据估计,将近6...

已跪,Java全能笔记爆火,分布式/开源框架/微服务/性能调优全有

前言程序员,立之根本还是技术,一个程序员的好坏,虽然不能完全用技术强弱来判断,但是技术水平一定是基础,技术差的程序员只能CRUD,技术不深的程序员也成不了架构师。程序员对于技术的掌握,除了从了解-熟悉...

面试官:举个你解决冲突的例子?别怂!用这个套路……

面试官:举个你解决冲突的例子?别怂!用这个套路……最近收到粉丝私信,说被问到:团队技术方案有分歧怎么办?当场大脑宕机……兄弟!这不是送命题,是展示你情商+技术判断力的王炸题!今天教你们3招,用真实案例...

面试碰到MongoDB?莫慌,跟面试官这样吹MongoDB 复制集

推荐阅读:吊打MySQL:21性能优化实践+学习导图+55面试+笔记+20高频知识点阿里一线架构师分享的技术图谱,进阶加薪全靠它十面字节跳动,依旧空手而归,我该放弃吗?文末会分享一些MongoDB的学...

SpringBoot集成扩展-访问NoSQL数据库之Redis和MongoDB!

与关系型数据库一样,SpringBoot也提供了对NoSQL数据库的集成扩展,如对Redis和MongoDB等数据库的操作。通过默认配置即可使用RedisTemplate和MongoTemplate...

Java程序员找工作总卡项目关?

Java程序员找工作总卡项目关?3招教你用真实经历写出HR抢着要的简历!各位Java老哥,最近刷招聘软件是不是手都划酸了?简历投出去石沉大海,面试邀请却总在飞别人的简历?上周有个兄弟,13年经验投了5...

Java多租户SaaS系统实现方案

嗯,用户问的是Java通过租户id实现的SaaS方案。首先,我需要理解用户的需求。SaaS,也就是软件即服务,通常是指多租户的架构,每个租户的数据需要隔离。用户可能想知道如何在Java中利用租户ID来...

取消回复欢迎 发表评论: