百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

Redis主从复制(Redis主从复制过程)

mhr18 2024-11-07 11:03 24 浏览 0 评论

文章原创于公众号:程序猿周先森。本平台不定时更新,喜欢我的文章,欢迎关注我的微信公众号。

上一篇讲到了Redis的持久化机制,有RDB快照持久化以及AOF日志持久化。Redis的持久化机制保证了Redis即使服务重启,也可以将硬盘中已经持久化的数据进行恢复,持久化机制保证了Redis持久化过程即使出现宕机,最多也只会丢失1秒之内的数据。在80%左右企业使用的都是Redis单机服务,在生产环境下使用单机环境的Redis容易面临风险,如果Redis持久化的硬盘出现故障,则有可能导致持久化的备份数据出现丢失,所以我们需要一个方案解决这个问题,所以我们需要将原来集中式的数据库中的数据分别复制到不同Redis节点上进行存储,这也就是Redis中的主从复制。

概念

什么叫做主从复制?Redis主从复制实际上就是将主Redis服务器的数据,复制到其他从Redis服务器去进行存储,默认情况下每台Redis服务器都是主节点,一个主节点可以拥有多个从节点,但是每个从节点只能设置一个主节点。数据复制是单向复制,只能从主节点复制到从节点中存储。在主节点中不需要进行特殊的配置,而只需要在从节点添加slaveof指令:

  • slaveof 主节点端口号> 主节点ip>

在从节点的配置文件中通过slaveof指令可以设置该从节点拥有的主节点。

开启主从复制方式

在从节点中配置slaveof指令一共有三种方式:

  • 在redis.conf配置文件中配置:在配置文件中加入:slaveof 。 主节点端口号> 主节点ip>
  • 从节点启动命令添加slaveof参数:在reids启动命令后加上 --slaveof 。 主节点端口号> 主节点ip>
  • 从节点Redis启动成功执行slaveof命令:slaveof 。 主节点端口号> 主节点ip>

主从复制的作用

  • 数据冗余:可以实现数据热备份,在Redis持久化的基础上进一步对数据备份进行优化。
  • 故障恢复:当主节点硬盘持久化出现问题,可以快速从从节点提供服务,实现数据恢复。
  • 读写分离:可以主节点负责所有写操作,从节点负责所有读操作,实现Redis读写分离提高服务器负载能力。
  • 负载均衡:主从复制配合实现读写分离,可以减轻服务器负载,实现负载均衡。
  • 高可用:主从复制是实现集群的基础,所以高并发下主从配置是必不可少的配置之一。

主从复制三大阶段

主从复制主要分为3个大阶段:准备阶段、数据同步阶段、命令传输阶段。

准备阶段

保存主节点信息

从节点服务器中存在两个字段:masterhost和masterport。masterhost字段用于存储主节点的ip信息,masterport用于存储主节点的端口号信息,实际上就是我们通过slaveof指令设置的信息。

主节点与从节点建立socket连接

成功执行slaveof指令,从节点会每秒1次定时调用replicationCron()函数,寻找是否可以连接主节点,当发现存在新的主节点时,便通过上一步维护的ip与port尝试与该主节点建立socket连接。当主节点与从节点成功建立socket连接,从节点会建立一个ssocket套接字,专门负责接受主节点发送的复制数据命令。而主节点同时也会为该从节点创建相应的客户端状态。

发送ping命令

通过上一步,从节点就成功的成为主节点的一个客户端。可以通过发送ping请求进行第一次请求,第一次请求的目的不是为了复制数据,而是为了检查刚才创建的socket连接是否可用以及主节点是否可以能够正常处理请求。从节点向主节点发送ping命令一般会有三种响应结果:

  • 返回pong:表示socket连接可用,可以继续操作。
  • 超时未返回:表示socket不可用,则从节点断开socket连接。
  • 返回其他结果:代表主节点目前处于忙碌状态无法处理从节点请求,则从节点断开socket连接。

权限验证

如果主节点配置了requirepass参数,则表示需要权限验证,从节点必须配置masterauth参数,masterauth参数配置成与主节点requirepass参数一致,才可以通过验证。否则权限验证失败,从节点断开socket连接。

数据同步阶段

准备工作结束后,便可以进行数据同步。首次数据复制,主节点会将所有数据发送给子节点,也就是全量复制,所以这部分是耗时操作。非首次数据同步,则会根据主节点和从节点当前状态的不同,选择全量复制或者不分肤质。在本阶段,主节点需要主动向从节点发送请求完成复制。

数据全量复制

主节点收到全量复制的请求后,fork出一个后台进程,将数据库快照生成RDB文件,并且将生成过程中接受到的写请求暂时缓存,否则会影响数据一致性。然后在RDB文件生成之后将RDB文件发送给从节点,从节点先清除旧数据,然后接收RDB文件更新数据,最后主节点将缓存的写命令全部发送给从节点,从节点执行写命令,最终保持和主节点的数据一致性。

部分复制

因为进行全量复制要fork子进程并且进行RDB持久化会极度消耗CPU,而且发送RDB文件给从节点也会对网络带宽造成影响,所以全量复制实际效率并不高,所以可以使用部分复制对数据进行主从复制。进行部分复制时,主节点和从节点会分别维护一个offset变量来存储主节点传递给从节点的字节数,通过offset可以判断主从节点数据是否一致,若不一致可以从从节点所在的offset字节数然后在主节点的offset轻松找到缺少的数据进行部分复制。但是进行部分复制最关键的一点就是必须为非首次复制,主从节点首次复制必须为全量复制过程。

命令传输阶段

当主节点将当前数据同步给从节点后,复制的建立流程就完成了。只要从节点不关闭主从复制,则主节点会不断的把写命令发送给从节点,保证主从数据的一致性。命令传输阶段是异步操作,所以可能存在一定程度的延迟,无法保证数据的实时一致性。

欢迎关注公众号:程序猿周先森。

本文由博客一文多发平台 https://openwrite.cn?from=article_bottom 发布!

相关推荐

JDK从8升级到21的问题集(jdk8版本)

一、背景与挑战1.升级动因oOracle长期支持策略o现代特性需求:协程、模式匹配、ZGC等o安全性与性能的需求oAI新技术引入的版本要求2.项目情况o100+项目并行升级的协同作战o多技术栈并存o持...

科莱特SAP ABAP干货 | 基础篇:二、数据字典(1)

ABAP开发基础及应用二、数据字典(1)目标及说明目标:1、掌握SAP数据字典各种对象的定义和使用2、能根据业务数据要求,建立存储数据用的表和视图需求说明:1、在SAP中自建程序,以对一企业(自由行集...

Mycat入门(mycatalog)

一、Linux系统下搭建Mycat注:如果没有服务器可以选择虚拟机进行操作1、首先准备好服务器或者虚拟机2、安装和配置MySQL数据库2.1、删除原来的数据库//查询已安装的mariadb[root...

MySQL从入门到实战:表设计、索引优化与高频面试解析

一、业务场景驱动表设计:电商订单系统案例场景背景某电商平台需设计用户、商品、订单模块,要求支持以下操作:用户高频查询最新订单按商品分类+价格区间筛选商品统计每日订单金额建表实战--用户表(反范式设计...

oracle生成AWR报告的两种方法(oracle中awr报告的输出格式有哪些)

方法1:sqlplus中执行:execdbms_workload_repository.create_snapshot();@?/rdbms/admin/awrrpt.sql方法2:setpage...

Navicat Premium:数据库管理神器(navicat 本地数据库)

提供免费下载网站Mavom.cn在数据库管理的世界里,「NavicatPremium」是一款「一体化的数据库管理和迁移工具」,适用于MySQL、SQLServer、Oracle和PostgreSQ...

Iperius Backup功能特色(backup如何使用)

备份作业:1.文件夹备份:本地的文件夹,带SMB的路径文件夹,网络路径文件夹,NAS文件夹等等2.文件备份:对某个文件进行备份3.备份镜像:可以把系统刻录成镜像用于恢复(图1)4.FTP:自带FTP...

sql注入攻击,拿到网站账户,黑客这样神操作

首先的话,我们来仔细搞清楚这个攻击的流程,第一步就是了解一下,什么是sql?又什么是sql注入、sql注入的流程和步骤。1、首先什么是sql,Sql是一种数据库查询和程序设计的语言,这里的数据库是指存...

Java 8 新特性指南(java的八大特性)

本教程可以在实验楼(shiyanlou.com)中在线练习。一、实验简介Java8是近年来最后起来的一个Java编程语言发行版本。Oracle在2014年3月发布了它。该版本为Java带来...

Java系统开发从入门到精通第三讲(文字版)

下来我们进入数据持久化的部分,对于一个真实的业务系统,能够正常的运转离不开数据的持久化。在数据持久化这块,目前主流的还是关系型数据库(RDBMS),NoSQL(NewSQL)也有了长足发展,特别在大数...

扣细节:while (true) 和 for (;;) 哪个更快

来源:zhihu.com/question/52311366/answer/130090347在JDK8u的jdk项目下做个很粗略的搜索:mymbp:/Users/me/workspace/jdk8u...

JAVA 8 环境安装配置(java环境怎么装)

一、下载这里选择的是OracleJDK,首先到Oracle官网下载JDK8,以Windows10操作系统为例,若是32位系统则下载“Windowsx86”,否则64位系统下载“Windows...

从零开始学Java系列之最详细的Java环境变量配置教程

前言:在上一篇文章中,壹哥给大家重点讲解了Java实现跨平台的原理,不知道你现在有没有弄清楚呢?如果你还有疑问,可以在评论区留言~之前的三篇文章,主要是理论性的内容,其实你暂时跳过不看也是可以的,我们...

Linux下乱码的文件名修改或删除(linux文件名乱码如何处理)

查看文件名#lstouch1?.txt#ll-itotal1469445217956913-rw-r--r--1oracleoinstall0Jan18...

「论文写作-解决方案」数据库TDE加密

数据是应用的核心。对于绝大多数应用,存储数据的数据库是系统日常管理的重中之重。数据库安全背景根据verizon2014年的统计数据,96%数据攻击行为是针对数据库进行的。数据库已经成为外部入侵与内部渗...

取消回复欢迎 发表评论: