Redis主从复制

Redis的可靠性保证第一是Redis的持久化数据不会丢失，第二是提供不间断服务这个可以通过集群保证，将Redis服务做一个集群服务将Redis的数据副本放在不同主机上，就算其中有机器宕机，因为数据副本存在不同的主机中所以整个集群依旧能正常提供服务，这里就会存在一个问题，不同主机上的数据副本如何保持一致的呢？聊数据一致之前需要先了解Redis的集群结构。

Redis的集群结构

Redis的集群结构简单总结就是主从结构、读写分离，结构图如下所示。

Redis为什么采用读写分离呢？其根本原因还是最低代价来保证所有节点的数据基本同步，如果所有的节点都能进行读写操作，那么在任一节点修改数据都需要同步到所有的节点，这时为了保证数据的正确性，势必涉及到加锁等一系列的内存开销，这样对于Redis而言不太友好。

对于主从同步不知道有没有这些疑问，主从节点同步细节到底是怎么样？出现从节点网络异常后续恢复那么这之间的数据能不能同步？带着这些疑问往下看。

主从同步细节

主从连接建立

当我们存在多个Redis实例时，我们可以通过命令指定主从库，这里会有Redis版本差异5.0之前采用的是salveof，5.0之后采用的是replicaof完成主从设置，如下所示

假设存在实例A（IP:10.8.81.171）实例B（IP:10.8.81.172）等多个实例，需要指定实例B为实例A的从节点，就可以在实例B上执行如下命令

replicaof 10.8.81.171 6379

了解完主从连接建立后，就需要知道主从初次建立连接后的具体过程，如下所示。

注意点

• replication buffer是从库连接上后，主库创建的一块内存空间。
• replication buffer的作用是因为主节点在同步从节点数据时，主线程并不会阻塞所以主线程还能正常的处理读写请求，所以同步过程中的数据需要有一块内存专门记录。
• ==主从全量复制后会建立一个长连接==，主库后续写操作同样会记录到replication buffer中，后续会将replication buffer中的数据发送给从节点完成传输，但一定需要注意的是每一个从节点都会在主节点有一个replication buffer，因为每个主节点的复制速度不一样，会有速度差异。

看完主从同步的流程图后，不知道有没有发现一个问题，在主从节点建立连接后需要主节点马上生成RDB文件，有多个从节点就要生成多次，如果Redis的集群过大对于主节点而言这个全量复制不就会是灾难性的吗？这就要聊到Redis推出的另外一个集群结构：主-从-从结构。

主从从结构

Redis了减缓主节点的全量复制压力以及RDB文件传输的压力，推出主-从-从结构，其结构有点类似企业中的组织结构，如下所示

上述结构的好处是主节点A不再需要同步给从节点D,E由从节点C分担了主节点A的压力，从而保证主节点A的性能。

主从架构将读写压力分散，而且主从的数据同步可以通过全量复制和长链接保证，但如果从节点网络阻塞或者网络断联后，应该如何保证数据的一致性呢？

避免网络问题造成一致性问题

在Redis2.8之前，Redis主从节点在命令传播过程中网络出现问题，那么主从之间的数据需要重新进行全量复制，显然这对Redis的开销压力大。

在Redis2.8开始，网络断了后主从节点只是进行增量同步，那如何知道增量复制的范围呢？这就需要借助repl_backlog_buffer

只要在主节点有数据写入，那么就会写入repl_backlog_buffer中这是一个环形结构，当从库断连后又重新连接后，从库通过psync会将从库偏移量slave_repl_offset告诉主库，主库通过自己的偏移量master_repl_offset对比从库偏移量slave_repl_offset，得到增量数据同步给从库（同步还是需要借用长连接也就是所谓的replication buffer），如下图所示增量数据就是put b c两个。

slave_repl_offset 这个数据是由从节点记录，所以有多少个从节点就会有多少个slave_repl_offset值，因为每个从节点的复制进度不会相同，而repl_backlog_buffer是共享的，所有从节点共享这个环形数组。

所以主从同步步骤细化如下

注意点

既然repl_backlog_buffer是环形结构，如果主节点的写入速度过快，覆盖了从节点读取的偏移量slave_repl_offset，那么这时会走全量复制，并不会走增量复制，所以repl_backlog_buffer环形结构的大小设置至关重要，如果设置小了触发全量复制的几率就高，设置大了对内存又是浪费，这个大小由repl_backlog_size值控制，参考公式如下

（主节点写入速度-主从库网络传输速度）* 操作大小 * 2

假设主节点的写入速度每秒2000个操作，每个操作大小为2K，主从库网络传输速度为1000个，那么在单位时间内还有1000个需要缓存起来，所以需要2M的数据，为应对突发情况所以这个值为4M，这个公式只是参考可以根据Redis所在服务器的性能情况再来调整。