哨兵+redis主从，让故障转移机制更健壮

# 架构图

1. 哨兵的介绍

sentinel ， 中文是哨兵。

哨兵是redis 集群架构中非常重要的一个组件，主要功能如下：

（1）集群监控：负责监控reidis master 和slave 进程是否正常工作；

（2）消息通知：如果某个redis实例有故障，那么哨兵负责发送消息作为报警通知给管理员；

（3）故障转移：如果master node挂掉了，会自动转移到slave node上；

（4）配置中心：如果故障转移发生了，通知client 客户端新的master 地址；

哨兵本身也是分布式地作为一个哨兵集群去运行，互相协同工作；

（1）故障转移时， 判断一个master node宕机了，需要大部分的哨兵都同意才行，涉及到了分布式选举的问题；

（2）即使部分哨兵节点挂了，哨兵集群还是能正常工作的，因为如果 一个作为高可用机制重要组成部分的故障转移系统本身是单点的，那就坑爹了；目前采用的是sentinel 2 版本，sentinel2 相对于 sentinel 1 来说，重写了很多代码，主要是让故障转移的机制和算法变得更加健壮和简单。

2. 哨兵的核心知识

（1）哨兵至少需要3个实例，来保证自己的健壮性；

（2）哨兵+redis 主从的部署架构，是不会保证数据0丢失的，只能保证redis 集群的高可用性；

（3）对于哨兵+redis主从这种负责的部署架构，尽量在测试环境和生产环境，都进行充足的测试和演练

## 部署

### 准备docker环境

hostnamectl set-hostname l-gz-txy-lyy-uat-redis-master-001
sudo yum install -y yum-utils
sudo yum-config-manager \
--add-repo \
https://download.docker.com/linux/centos/docker-ce.repo

sudo yum install docker-ce docker-ce-cli containerd.io -y
systemctl start docker
systemctl enable docker

### 三台虚拟机

10.180.3.125:7000 主节点

10.180.3.181:7000 从节点

10.180.3.90:7000 从节点

### 主节点创建redis data和conf目录

mkdir -p /data/redis/7000
mkdir /data/redis/7000/conf
mkdir /data/redis/7000/data
cd /data/redis/7000/conf

### 修改redis.conf主要配置

cat > /data/redis/7000/conf/redis.conf <<EOF
port 7000
masterauth "YACEheyuan@123"
requirepass "YACEheyuan@123"
protected-mode yes
tcp-backlog 511
timeout 0
tcp-keepalive 300
daemonize no
supervised no
pidfile /var/run/redis_6379.pid
loglevel notice
#logfile "/var/redis.log"
databases 16
always-show-logo yes
save 900 1
save 300 10
save 60 10000
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename dump.rdb
dir ./
replica-serve-stale-data yes
replica-read-only yes
repl-diskless-sync no
repl-diskless-sync-delay 5
repl-timeout 1
repl-disable-tcp-nodelay no
replica-priority 100
maxmemory 1024000kb
maxmemory-policy volatile-lru
lazyfree-lazy-eviction no
lazyfree-lazy-expire no
lazyfree-lazy-server-del no
replica-lazy-flush no
appendonly no
appendfilename "appendonly.aof"
appendfsync everysec
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 512mb
aof-load-truncated yes
aof-use-rdb-preamble yes
lua-time-limit 5000
cluster-enabled no
slowlog-log-slower-than 10000
slowlog-max-len 128
latency-monitor-threshold 0
notify-keyspace-events ""
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-size -2
list-compress-depth 0
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
hll-sparse-max-bytes 3000
stream-node-max-bytes 4096
stream-node-max-entries 100
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit replica 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
hz 10
dynamic-hz yes
aof-rewrite-incremental-fsync yes
rdb-save-incremental-fsync yes
EOF
```
### 配置sentinel
```
cat >/data/redis/7000/conf/sentinel.conf <<EOF
port 27000
daemonize yes
sentinel monitor mymaster 10.180.3.125 7000 1
sentinel auth-pass mymaster YACEheyuan@123
EOF

### 拷贝整个/data/redis目录到备节点

scp -r /data/redis root@10.180.3.181:/data/

### 主从节点都启动redis容器

cat >start.sh<<EOF
docker run -d -ti -p 7000:7000 -p 27000:27000 \
-v /data/redis/7000/conf/redis.conf:/usr/local/etc/redis/redis.conf \
-v /data/redis/7000/conf/sentinel.conf:/usr/local/etc/redis/sentinel.conf \
-v /data/redis/7000/data:/data \
-v /usr/share/zoneinfo/Asia/Shanghai:/etc/localtime \
--privileged=true --restart always --name redis_7000 \
uhub.service.ucloud.cn/jackhe/redis-sentinel:latest redis-server /usr/local/etc/redis/redis.conf
EOF
chmod +x start.sh
sh start.sh
```
### 从节点进去容器，设置自己为从节点
```
docker exec -it redis_7000 bash
redis-cli -h 127.0.0.1 -c -p 7000 -a YACEheyuan@123
SLAVEOF 10.180.3.125 7000
```

分别进去主从节点的容器，启动sentinel

`redis-sentinel /usr/local/etc/redis/sentinel.conf`

输入info查看是否设置成功


启动完成后，关闭主节点redis容器，等待30秒查看备节点是否切换为主节点

启动回主节点redis容器，查看主节点是否已经作为备节点连接上，同时启动sentinel

## 部署逻辑

docker 启动redis——》从节点声明为slave——》启动sentinel

## 验证可用性

- 在master上set key
```
# Keyspace
127.0.0.1:7000> set a 1
OK
127.0.0.1:7000> get a
"1"
```
- 在任意slave上get
```
# Keyspace
127.0.0.1:7000> get a
"1"
```
- 脚本测试
```python
from redis.sentinel import Sentinel
sentinel = Sentinel([('10.180.3.198', 27000)],
password='YACEheyuan@123',socket_timeout=0.5)
master = sentinel.discover_master("mymaster")
print(master)
```

## 压测

redis-benchmark -h 10.180.3.125 -p 27000 -a YACEheyuan@123 -c 100 -n 100000 -q