百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

redis主从复制(Redis主从复制过程)

mhr18 2024-10-25 12:42 29 浏览 0 评论

redis主从复制

注意:我使用的版本是6.0.10,不同版本可能略有差别

虽然redis有持久化的功能可以保证redis服务重启不会丢失数据,但是如果redis服务器的硬盘损坏就会导致数据丢失,,使用主从复制来避免这种单点故障。

主机数据更新后根据配置和策略自动同步到备机的master/slave机制,master以写为主,slave以读为主

原理

主要是使用PSYNC命令来实现

PSYNC命令具有完整重同步和部分重同步两种模式

  • 完整重同步用于处理初次复制的情况:slave启动成功连接到master后会发送一个psync命令,master接到命令后会启动后台创建并发送RDB文件,完成后将命令发送给slave
  • 部分重同步用于处理断线后重复制的情况:在断线后重连,slave向master发送psync命令,master将断线之后的写命令发送给slave

那么如何知道slave和master之间只差了这几个命令呢?

是因为master和slave在复制的时候都维护了一个复制偏移量,而master在复制积压缓冲区中会保存一部分最近传播的写命令,为每个字节来记录相应的复制偏移量,可以根据复制偏移量来找到对应的字节,当然,如果复制积压缓冲区中没有这个偏移量了,那么就只能进行全量复制了

redis默认的复制积压缓冲区为1mb,可以修改配置中repl-backlog-size 来进行调整

配置

配主不配从,配置slave即可,使得slave时刻盯住主机

在这里由于我只有一台电脑,所以只能用三个配置文件来启动三个redis服务了,带有配置文件的启动服务

redis-server redis79.conf

以及使用端口启动客户端

redis-cli -p 6379

启动之后就可以配置从机了

replicaof 127.0.0.1 6379

在5.0之后使用replicaof,5.0之前使用slaveof 不过当前slaveof还没有失效

# 可以配置最少有多少个从节点  主节点才可以写
# min-replicas-to-write 3
# min-replicas-max-lag 10

一主两仆

看一下执行命令之前的配置变化(使用info replication来查看)

#之前
# Replication
role:master
connected_slaves:0
master_replid:96519fc9dab0e66f4d1e8513f519b68622f4af9e
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0

#之后
#主机
# Replication
role:master
connected_slaves:2
slave0:ip=127.0.0.1,port=6380,state=online,offset=2646,lag=1
slave1:ip=127.0.0.1,port=6381,state=online,offset=2646,lag=1
master_replid:63b39507da5e42ce5e1b4d931f4e743c91bb92cd
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:2646
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:2646


#从机
# Replication
role:slave
master_host:127.0.0.1
master_port:6379
master_link_status:up
master_last_io_seconds_ago:9
master_sync_in_progress:0
slave_repl_offset:42
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:63b39507da5e42ce5e1b4d931f4e743c91bb92cd
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:42
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:43
repl_backlog_histlen:0

重点:

从机会将主机的所有数据进行备份从机只能读,不能写(error) READONLY You can't write against a read only replica.主机挂了之后,从机身份不变(masterlinkstatus变成down),直到主机回来,主机回来之后还是主机从机挂了之后需要重新执行从属命令replicaof 127.0.0.1 6379(如果是直接在配置文件中配置的从属关系则不需要)

可以使用命令来将从库变成主库

replicaof no one

在5.0之后使用replicaof,5.0之前使用slaveof 不过当前slaveof还没有失效

薪火相传

由于一主两仆机制会导致主机挂掉之后整个redis就挂掉的问题,所以为了去中心化,有了薪火相传机制,上一个slave可能是下一个slave的master,slave同样可以接收其他的slave的连接和请求,可以有效地减轻master的写压力

这里slave80对于slave81是主机,对于master79是从机

该机制可能会存在延迟

哨兵模式

由于一主两从的主库挂掉之后,需要人工的去干预从库反客为主,再进行更改主从配置,而哨兵模式通过监听主库是否挂掉,从库根据投票来决定自动将从库切换为主库

配置redis-sentinel.conf配置文件

#哨兵监控 6379  当6379挂了之后从库进行投票,票数超过1即可成为主库,配置文件会自动修改为新选举的主库ip和port
sentinel monitor mymaster 127.0.0.1 6379 1

哨兵启动

redis-sentinel redis-sentinel.conf

当主库挂掉之后,从库进行重新选举出新的主库,原来的主库回来之后,只会成为从库,不会变成双主库

哨兵的功能

哨兵节点不同于数据节点,不存储数据,且仅支持部分命令

  • 监控 哨兵检查主节点和从节点是否正常运作
  • 自动故障转移 主节点不能正常工作时,哨兵开始自动故障转移操作,将失效主节点的其中一个从节点升级为新的主节点,并让其他从节点复制新的主节点
  • 配置提供者 客户端在初始化时,通过连接哨兵来获得当时redis服务的主节点地址
  • 通知 将故障转移结果发送给客户端

选举新的主服务器

sentinel会将所有的从服务器保存到一个列表中,然后进行筛选

  • 首先会删除掉下线的从服务器
  • 然后删除掉最近五秒内没有回复过sentinel的info命令的从服务器
  • 删除掉与主服务连接断开超过down-after-milliseconds * 10 毫秒的从服务器(down-after-milliseconds表示判断主服务器下线所需的时间)
  • 根据从服务器优先级进行排序,如果有多个最高优先级的从服务器,则选出偏移量最大的
  • 如果存在多个最高优先级、复制偏移量最大的从服务器,则按照id进行排序,选出id最小的

sentinel是不会监控从服务器的,所以如果从服务器挂掉之后,sentinel是不会对其进行故障转移的

作用

  • 读写分离
  • 灾备

相关推荐

Docker安装详细步骤及相关环境安装配置

最近自己在虚拟机上搭建一个docker,将项目运行在虚拟机中。需要提前准备的工具,FinallShell(远程链接工具),VM(虚拟机-配置网络)、CentOS7(Linux操作系统-在虚拟机上安装)...

Linux下安装常用软件都有哪些?做了一个汇总列表,你看还缺啥?

1.安装列表MySQL5.7.11Java1.8ApacheMaven3.6+tomcat8.5gitRedisNginxpythondocker2.安装mysql1.拷贝mysql安装文件到...

Nginx安装和使用指南详细讲解(nginx1.20安装)

Nginx安装和使用指南安装1.检查并安装所需的依赖软件1).gcc:nginx编译依赖gcc环境安装命令:yuminstallgcc-c++2).pcre:(PerlCompatibleRe...

docker之安装部署Harbor(docker安装hacs)

在现代软件开发和部署环境中,Harbor作为一个企业级的容器镜像仓库,提供了高效、安全的镜像管理解决方案。通过Docker部署Harbor,可以轻松构建私有镜像仓库,满足企业对镜像存储、管理和安全性...

成功安装 Magento2.4.3最新版教程「技术干货」

外贸独立站设计公司xingbell.com经过多次的反复实验,最新版的magento2.4.3在oneinstack的环境下的详细安装教程如下:一.vps系统:LinuxCentOS7.7.19...

【Linux】——从0到1的学习,让你熟练掌握,带你玩转Linu

学习Linux并掌握Java环境配置及SpringBoot项目部署是一个系统化的过程,以下是从零开始的详细指南,帮助你逐步掌握这些技能。一、Linux基础入门1.安装Linux系统选择发行版:推荐...

cent6.5安装gitlab-ce最新版本-11.8.2并配置邮件服务

cent6.5安装gitlab-ce最新版本-11.8.2并配置邮件服务(yum选择的,时间不同,版本不同)如果对运维课程感兴趣,可以在b站上搜索我的账号:运维实战课程,可以关注我,学习更多免费的运...

时隔三月,参加2020秋招散招,终拿字节跳动后端开发意向书.

3个月前头条正式批笔试4道编程题只AC了2道,然后被刷了做了200多道还是太菜了,本来对字节不抱太大希望,毕竟后台竞争太大,而且字节招客户端开发比较多。后来看到有散招免笔试,抱着试一试的心态投了,然而...

Redisson:Java程序员手中的“魔法锁”

Redisson:Java程序员手中的“魔法锁”在这个万物互联的时代,分布式系统已经成为主流。然而,随着系统的扩展,共享资源的争夺成为了一个棘手的问题。就比如你想在淘宝“秒杀”一款商品,却发现抢的人太...

【线上故障复盘】RPC 线程池被打满,1024个线程居然不够用?

1.故障背景昨天晚上,我刚到家里打开公司群,就看见群里有人讨论:线上环境出现大量RPC请求报错,异常原因:被线程池拒绝。虽然异常量很大,但是异常服务非核心服务,属于系统旁路,服务于数据核对任务,即使...

小红书取消大小周,有人不高兴了!

小红书宣布五一节假日之后,取消大小周,恢复为正常的双休,乍一看工作时长变少,按道理来说大家应该都会很开心,毕竟上班时间缩短了,但是还是有一些小红书的朋友高兴不起来,心情很复杂。因为没有了大小周,以前...

延迟任务的多种实现方案(延迟机制)

场景订单超时自动取消:延迟任务典型的使用场景是订单超时自动取消。功能精确的时间控制:延时任务的时间控制要尽量准确。可靠性:延时任务的处理要是可靠的,确保所有任务最终都能被执行。这通常要求延时任务的方案...

百度java面试真题(java面试题下载)

1、SpingBoot也有定时任务?是什么注解?在SpringBoot中使用定时任务主要有两种不同的方式,一个就是使用Spring中的@Scheduled注解,另一个则是使用第三方框架Q...

回归基础:访问 Kubernetes Pod(concurrent.futures访问数据库)

Kubernetes是一头巨大的野兽。在它开始有用之前,您需要了解许多概念。在这里,学习几种访问集群外pod的方法。Kubernetes是一头巨大的野兽。在它开始有用之前,您需要了解许多不同的...

Spring 缓存神器 @Cacheable:3 分钟学会优化高频数据访问

在互联网应用中,高频数据查询(如商品详情、用户信息)往往成为性能瓶颈。每次请求都触发数据库查询,不仅增加服务器压力,还会导致响应延迟。Spring框架提供的@Cacheable注解,就像给方法加了一...

取消回复欢迎 发表评论: