docker搭建redis主从复制哨兵模式

redis主从复制可以做读写分离，一台redis用于写数据，两台从机用于读数据。从机对于主机属于依附关系，对从机进行插入或者删除操作，从机会同步进行同步操作。如果主从复制结合sentinel哨兵，能够实现redis的高可用，在单台redis发生故障时进行故障迁移，sentinel起到监控功能，在主机down机后，将从机提升为主机，同样具备读写能力，而由于主从复制，从机也一直保存着故障主机的数据，从而实现了redis的高可用。

使用docker搭建应用能够充分利用容器和端口映射、目录映射的优势，通过容器启动不同的redis实例，映射不同的端口，实例间的交互模拟出分布式的场景实现伪集群的效果。

我们首先搭建三台redis实例，分别映射docker容器的redis-master：6379、redis-slave01:6380、redis-slave2:6381三个端口。

创建所需文件夹和日志文件：

redis-master：

/usr/local/tangv/redis/conf/redis-master.conf

/usr/local/tangv/redis/data/data-master

/usr/local/tangv/redis/log/redis-master.log

redis-slave01:

/usr/local/tangv/redis/conf/redis-slave01.conf

/usr/local/tangv/redis/data/data-slave01

/usr/local/tangv/redis/log/redis-slave01.log

redis-slave02:

/usr/local/tangv/redis/conf/redis-slave02.conf

/usr/local/tangv/redis/data/data-slave02

/usr/local/tangv/redis/log/redis-slave01.log

.conf文件是在本地编写的redis配置文件，.log为redis实例运行时产生的日志文件，data是存放备份数据的文件夹，在启动redis的RDB和AOF功能后，会将数据定期备份，防止机器故障导致的数据丢失。

配置redis配置文件：

即redis-master.conf,redis-slave01.conf,redis-slave02.conf。

主机配置文件(6379)

# 注释这一行，表示Redis可以接受任意ip的连接
# bind 127.0.0.1
#端口
port 6379

#可不填
?pidfile /var/run/redis_6379.pid

# 关闭保护模式
protected-mode no
# 让redis服务后台运行
daemonize yes
?# master密码，如果不设置从机就连不上主机，而故障迁移后主机也会变成从机，也同样需要密码连接新的主机

masterauth 123
# 设定密码(可选，如果这里开启了密码要求，slave的配置里就要加这个密码. 只是练习配置，就不使用密码认证了)
requirepass 123
?
# 配置日志路径，为了便于排查问题，指定redis的日志文件目录
logfile " /usr/log/redis-master.log "

# 从机只读设为no，故障迁移时从机会提升为主机，也需要写数据库的能力

replica-read-only no

#填真实ip和端口，哨兵集成springboot，如果从机被提升为主机，那么哨兵连接时需要主机地址才能ping通，不然连接时会获得docker默认的虚拟地址

replica-announce-ip 10.228.81.23

replica-announce-port 63379

从机1配置文件(6380)

//注释这一行，表示Redis可以接受任意ip的连接
# bind 127.0.0.1
?
port 6380

//可不填

pidfile /var/run/redis_6380.pid
?
//关闭保护模式
protected-mode no
?
//让redis服务后台运行
daemonize yes
//master密码，如果不设置从机就连不上主机，而故障迁移后主机也会变成从机，也同样需要密码连接新的主机

masterauth 123
//设定密码(可选，如果这里开启了密码要求，slave的配置里就要加这个密码)
requirepass 123
?
//设定主库的密码，用于认证，如果主库开启了requirepass选项这里就必须填相应的密码
masterauth 123
?
//设定master的IP和端口号，redis配置文件中的默认端口号是6379
//低版本的redis这里会是slaveof，意思是一样的，因为slave是比较敏感的词汇，所以在redis后面的版本中不在使用slave的概念，取而代之的是replica
//将10.228.81.23做为主，其余两台机器做从。ip和端口号按照机器和配置做相应修改。
replicaof 10.228.81.23 6379
?
//配置日志路径，为了便于排查问题，指定redis的日志文件目录
logfile " /usr/log/redis-slave01.log "

//从机只读设为no，故障迁移时从机会提升为主机，也需要写数据库的能力

replica-read-only no

//填真实ip和端口，哨兵集成springboot，如果从机被提升为主机，那么哨兵连接时需要主机地址才能ping通，不然连接时会获得docker默认的虚拟地址

replica-announce-ip 10.228.81.23

replica-announce-port 6380

从机2配置文件(6381)【只修改port即可】

//注释这一行，表示Redis可以接受任意ip的连接
# bind 127.0.0.1
?
port 6381

//可不填
?pidfile /var/run/redis_6380.pid
//关闭保护模式
protected-mode no
?
//让redis服务后台运行
daemonize yes

//master密码，如果不设置从机就连不上主机，而故障迁移后主机也会变成从机，也同样需要密码连接新的主机

masterauth 123
?
//设定密码(可选，如果这里开启了密码要求，slave的配置里就要加这个密码)
requirepass 123
?
//设定主库的密码，用于认证，如果主库开启了requirepass选项这里就必须填相应的密码
masterauth 123
?
//设定master的IP和端口号，redis配置文件中的默认端口号是6379
//低版本的redis这里会是slaveof，意思是一样的，因为slave是比较敏感的词汇，所以在redis后面的版本中不在使用slave的概念，取而代之的是replica
将10.228.81.23做为主，其余两台机器做从。ip和端口号按照机器和配置做相应修改。
replicaof 10.228.81.23 6379
?
//配置日志路径，为了便于排查问题，指定redis的日志文件目录
logfile "/usr/log/redis-slave02.log "

//从机只读设为no，故障迁移时从机会提升为主机，也需要写数据库的能力

replica-read-only no

//填真实ip和端口，哨兵集成springboot，如果从机被提升为主机，那么哨兵连接时需要主机地址才能ping通，不然连接时会获得docker默认的虚拟地址

replica-announce-ip 10.228.81.23

replica-announce-port 6381

完成配置文件。

拉取docker镜像：

docker pull docker.io/redis:6.0.9

这里拉取的时6.0.9版本，6.0.6版本可能会导致启动异常。

使用docker启动3个容器，分别映射到6379、6380、6381端口：

docker run -it --name redis-master --privileged=true -v /usr/local/tangv/redis/conf/redis-master.conf:/usr/local/etc/redis/redis.conf -v /usr/local/tangv/redis/data/data-master:/data -v /usr/local/tangv/redis/log/redis-master.log:/usr/log/redis-master.log -p 6379:6379 -d docker.io/redis:6.0.9 /bin/bash

docker run -it --name redis-slave01 --privileged=true -v /usr/local/tangv/redis/conf/redis-slave01.conf:/usr/local/etc/redis/redis.conf -v /usr/local/tangv/redis/data/data-slave01:/data -v /usr/local/tangv/redis/log/redis-slave01.log:/usr/log/redis-slave01.log -p 6380:6380 -d docker.io/redis:6.0.9 /bin/bash

docker run -it --name redis-slave02 --privileged=true -v /usr/local/tangv/redis/conf/redis-slave02.conf:/usr/local/etc/redis/redis.conf -v /usr/local/tangv/redis/data/data-slave02:/data -v /usr/local/tangv/redis/log/redis-slave02.log:/usr/log/redis-slave02.log -p 6381:6381 -d docker.io/redis:6.0.9 /bin/bash

注意：容器内的端口（即冒号后面的）也可以全写26379，主从复制功能正常实现；但是如果这样，哨兵就分辨不出具体是容器内的哪个端口，导致哨兵模式失效，所以建议按以上指令配置。

容器启动后，依次启动各redis服务器：

启动redis服务器(主6379)

//以交互模式进入容器redis-master

$ docker exec -it redis-master bash

// 启动redis服务器，如果没有任何输出，就说明成功了,如果报错，可以用cat命令查看之前配置的日志，具体什么报错。

$ redis-server /usr/local/etc/redis/redis.conf

?

//在容器里启动一个redis客户端

$ redis-cli

# 执行info命令，查看服务器状态

127.0.0.1:6379> info replication

?执行命令后输出：可以看到角色为master，连接了两台从机slave

role:master

connected_slaves:2

slave0:ip=172.17.0.1,port=6380,state=online,offset=69426,lag=0

slave1:ip=172.17.0.1,port=6381,state=online,offset=69426,lag=0

master_replid:ddb9244faee5a4a85f7b4c3ab8651398808db62f

master_replid2:0000000000000000000000000000000000000000

master_repl_offset:69426

second_repl_offset:-1

repl_backlog_active:1

repl_backlog_size:1048576

repl_backlog_first_byte_offset:1

repl_backlog_histlen:69426

//最后退出容器

$ exit

启动redis服务器(从6380)

//以交互模式进入容器redis-slave01
$ docker exec -it redis-slave01 bash
?
//没有日志文件路径需要创建日志文件目录，即配置文件中的logfile (这里如果不写，直接从下方redis-server开始会报错，错误就是没有这个)
//启动redis服务器，如果没有任何输出，就说明成功了,如果报错，可以用cat命令查看之前配置的日志，具体什么报错
$ redis-server /usr/local/etc/redis/redis.conf
?
//在容器里启动一个redis客户端,注意需要加上端口号6380
$ redis-cli -p 6380
?
//执行info命令，查看服务器状态(前方127.0.0.1:【6380】)
127.0.0.1:6380> info replication
?role为slave，并且可以看到依附的master
//最后退出容器
$ exit

另一台从机也差不多，就不演示了。

如果运行不成功，可能是因为防火墙，需要添加防火墙例外端口6379，不然从节点监听不到主节点

主从复制就完成了，可以尝试在主机6379存一条数据;set goodboy tangwei,然后在从机6380或6381输入获取所有key值得指令：keys *，可以看到输出有goodboy键值。删除也可以试试。

下面配置哨兵，过程很相似。

创建所需文件夹文件：

sentinel01：

/usr/local/tangv/redis/sentinel/sentinel01.conf

/usr/local/tangv/redis/sentinel/redis-sentinel01.log

sentinel02：

/usr/local/tangv/redis/sentinel/sentinel02.conf

/usr/local/tangv/redis/sentinel/redis-sentinel02.log

sentinel03：

/usr/local/tangv/redis/sentinel/sentinel03.conf

/usr/local/tangv/redis/sentinel/redis-sentinel03.log

Sentinel配置文件配置，三个配置类似，sentinel01.conf为例：

port 26379

daemonize yes

sentinel announce-ip 10.228.81.23

sentinel announce-port 26379

dir /usr/local/sentinel

//修改监控的主redis服务器 ，最后一个2表示，两台机器判定主被动下线后，就进行failover(故障转移)

sentinel monitor redis-master 10.228.81.23 6379 2

sentinel auth-pass redis-master 123

注意不要给sentinel设置密码，因为整合springboot时，jedis还不支持sentinel password，这样会导致项目启动不成功。看了多个版本jedis的源码，低版本没有认证密码的代码，高版本已有认证代码但是没有提供开发者注入sentinel 密码的入口，想设置密码的可以使用其他的连接池。

创建三个sentinel容器：

docker run -it --name redis-sentinel01 --privileged=true -p 26379:26379 -v /usr/local/tangv/redis/sentinel/sentinel01.conf:/usr/local/etc/redis/sentinel.conf -v /usr/local/tangv/redis/sentinel/redis-sentinel01.log:/usr/log/redis-sentinel.log -d docker.io/redis:6.0.9 /bin/bash

docker run -it --name redis-sentinel02 --privileged=true -p 26380:26380 -v /usr/local/tangv/redis/sentinel/sentinel02.conf:/usr/local/etc/redis/sentinel.conf -v /usr/local/tangv/redis/sentinel/redis-sentinel02.log:/usr/log/redis-sentinel.log -d docker.io/redis:6.0.9 /bin/bash

docker run -it --name redis-sentinel03 --privileged=true -p 26381:26381 -v /usr/local/tangv/redis/sentinel/sentinel03.conf:/usr/local/etc/redis/sentinel.conf -v /usr/local/tangv/redis/sentinel/redis-sentinel03.log:/usr/log/redis-sentinel.log -d docker.io/redis:6.0.9 /bin/bash

交互模式进入容器：

docker exec -it redis-sentinel01 bash

启动redis服务器：

redis-sentinel /usr/local/etc/redis/sentinel.conf

Docker内新建文件夹（配置文件配置的）：

cd usr/local/

mkdir sentinel

启动客户端：

redis-cli -p 26379

输入密码：

auth 123

大功告成，可以使用sentinel master redis-master,sentinel slave redis-master查看监控主机和从机的情况，所有参数都正常，说明连接上了，否则不成功。

如果是下图这样就失败了，正确的可以看到master的主机端口号等。

验证哨兵模式故障迁移：

ps -ef|grep redis 查看redis进程和对应pid

kill -9 pid 杀死主机（最开始是6379）进程

查看各redis状态变化，发现从机两个中的一个提升为主机，info replication查看role角色从slave提升为master，哨兵生效，主机6379挂了从机立马代替它执行任务。这个时候再重启6379，发现6379又变成了slave，可以多次试验。

主从复制和哨兵模式就结束了，大部分坑我都碰到了。只列出了个正确的步骤。有疑问的地方欢迎留言。

明天带来主从模式哨兵模式整合springboot，配置文件、配置类、集成jedis连接池以及redis的序列化，将redis整合到项目中。