0 本节知识点

• 主从同步的基本原理
• 主从同步过程
• 主从同步如何缓解主库压力
• 主从同步时网络断链,redis是如何解决的

1. Redis主从库如何保证数据一致

1.1 Redis主从同步的基本原理

Redis提供了主从库模式,以保证数据副本的一致,主从库采用的是读写分离的方式

读操作: 主库,从库都可以接收

写操作: 首先到主库执行,然后,主库将写操作同步给从库

1.2 Redis主从库间是如何同步的

当启动多个Redis实例后,它们之间可以通过 replicaof(在5.0版本前使用slaveof命令)命令形成主库和从库的关系,通过3个阶段完成同步过程

第一个阶段 , 从库给主 库发送 psync命令,表示要进行数据同步,主库根据这个命令的参数来启动复制,psync 命令包含了主库的runID 和复制进度 offset 两个参数。

• runID是每个Redis实例启动进都会自动生成的一个随机ID,用来唯一标记这个实例,当从库和主库第一次复制时,因为不知道主库的runID,所以将runID设置为?
• offset 由于是第一次复制,所以设置为-1,表示为第一次复制

主库收到psync命令后,会用FULLRESYNC响应命令带上两个参数:主库runID和主库目前的复制进度offset,返回给从库,从库收到响应后,会记录下这两个参数

FULLRESYNC响应表示每一次复制,采用的时 全量复制

第二阶段,主库执行bgsave命令,生成 RDB文件,接着将文件发送给从库,从库收到RDB文件后,会先清空当前数据库,然后加载RDB文件,主库将数据同步给从库的过程中,主 库不会阻塞,仍然可以接收到新的请求, 主库会在内存中用专门的 replication buffer记录RDB文件生成后收到的所有写请求

第三阶段

主库会把第二阶段执行过程中新收到的写命令,再发送给从库,从库再执行这些写操作

可能遇到的问题

• 如果RDB文件过大,从库数量多,对主库有影响,如何解决?
• 在第三阶段时,如果出现网络断链,是增量复制还是全量复制?

1.3 主从级联模式分担全量复制时的主库压力

在一次全量复制时,对于主库来说有2个耗时操作 生成RDB文件和传输RDB文件

如果从库数量多,主库忙于fork子进程生成RDB文件,fork这个操作会阻塞主线程处理正常请求,此外传输 RDB文件也会占用主库的网络带宽

使用主-从-从模式,以级联方式,来解决上面的问题

1.4 Redis中主从库间网络断了怎么办?

在 2.8版本前,如果主从库在命令传播时出现了网络闪断,那么从库就会和主库重新进行一次全量复制,开销较大

在2.8版本,网络断了后,主从库会采用增量复制的方式继续同步, 主库会在断链期间接收到的写请求写入到 replication buffer中,同时也会写入repl_backlog_buffer这个缓冲区,repl_backlog_buffer是一个环形缓冲区,主库记录自己写到的位置,从库记录自己已经读到的位置

在刚开始时,主库和从库写读位置在一起,随着主库不断接收新的写操作,主库的偏移量会越来越大,对于主库来说,对应的偏移量就是master_repl_offset,对于从库来说,对应的偏移量slave_repl_offset,正常情况下,这两个偏移量 基本相等

当主从库的网络恢复时,从库首先会发送psync命令,并把自己当前的slave_repl_offset发送给主库,主库会判断 master_repl_offset和slave_repl_offset的差距,主库会把master_repl_offset和slave_repl_offset之间的写命令发送给从库

注意

由于 repl_backlog_buffer是一个环形缓冲区,如里从库的读取速度比较慢,可能会导致从库还未读取就被主库新写的操作覆盖了,会导致主从数据不一致,所以需要调整 repl_backlog_size参数大小,通常设置成缓冲空间的2倍,如里并发较大,则可以调整到更大

1.6 Redis同步的3种模式

• 全量复制
• 基于长链接的命令传播
• 增量复制