百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

# Redis 入门到精通(十一)-- 集群

mhr18 2024-11-03 13:40 47 浏览 0 评论

# Redis 入门到精通(十一)-- 集群

## 一、redis 集群 -- 集群简介

### 1、现状问题:业务发展过程中遇到的峰值瓶颈

- redis提供的服务OPS可以达到10万/秒,当前业务OPS已经达到10万/秒。

- 内存单机容量达到256G,当前业务需求内存容量1T。

- 使用集群的方式可以快速解决上述问题。

### 2、集群架构

集群就是使用网络将若干台计算机联通起来,并提供统一的管理方式,使其对外呈现单机的服务效果。

### 3、集群作用

- 分散单台服务器的访问压力,实现负载均衡。

- 分散单台服务器的存储压力,实现可扩展性。

- 降低单台服务器宕机带来的业务灾难。

### 4、集群示例图:

## 二、redis 集群 -- 集群存储结构设计

### 1、redis 集群存储结构设计包括:

1)redis 数据存储设计

2)redis 集群内部通讯设计

### 2、redis 数据存储设计

- 通过算法设计,计算出 key 应该保存的位置。

- 将所有的存储空间计划切割成16384份,每台主机保存一部分。

每份代表的是一个存储空间,不是一个key的保存空间。

- 将key按照计算出的结果放到对应的存储空间。

### 3、redis 集群内部通讯设计

- 各个数据库相互通信,保存各个库中槽的编号数据。

- 一次命中,直接返回。

- 一次未命中,告知具体位置。

## 三、redis 集群 -- cluster集群搭建

### 1、cluster集群搭建:master-01 窗口 服务端

(打开一个终端,作为主节点1 master-01 窗口 服务端)

```java

# 切换到 redis 安装目录 (master-01窗口)

cd /usr/local/redis/redis-4.0.0/

# 切换到 redis 安装目录下的 data 目录(此目录为自己创建的目录) (master-01窗口)

cd /usr/local/redis/redis-4.0.0/data/

# 清除 data 目录下的所有文件。

rm -rf *

# 切换到 redis 安装目录下

cd /usr/local/redis/redis-4.0.0/

# 查看并编辑 redis 配置文件,添加 cluster集群 配置

vim conf/redis.conf

# 内容如下:

port 6379

daemonize no

dir /usr/local/redis/redis-4.0.0/data

dbfilename dump-6379.rdb

rdbcompression yes

rdbchecksum yes

save 10 2

appendonly yes

appendfsync always

appendfilename appendonly-6379.aof

bind 127.0.0.1

databases 16

cluster-enabled yes

cluster-config-file nodes-6379.conf

cluster-node-timeout 10000

# 切换到 redis 安装目录下的 conf 目录:

cd /usr/local/redis/redis-4.0.0/conf/

# 复制 redis.conf 6个,并改变相应端口号等。

cat redis.conf > redis-6379.conf

sed "s/6379/6380/g" redis-6379.conf > redis-6380.conf

sed "s/6379/6381/g" redis-6379.conf > redis-6381.conf

sed "s/6379/6382/g" redis-6379.conf > redis-6382.conf

sed "s/6379/6383/g" redis-6379.conf > redis-6383.conf

sed "s/6379/6384/g" redis-6379.conf > redis-6384.conf

sed "s/6379/6385/g" redis-6379.conf > redis-6385.conf

# 检查一下各配置文件,端口号和输出文件是否已经配置好

cat redis-6380.conf

cat redis-6381.conf

cat redis-6382.conf

cat redis-6383.conf

cat redis-6384.conf

cat redis-6385.conf

# 切换到 redis 安装目录下

cd /usr/local/redis/redis-4.0.0/

# 指定配置文件,启动 redis 服务

redis-server conf/redis-6379.conf

```

### 2、cluster集群搭建:master-02 窗口 服务端

(打开一个终端,作为主节点2 master-02 窗口 服务端)

```java

# 切换到 redis 安装目录下(master-02窗口)

cd /usr/local/redis/redis-4.0.0/

# 指定配置文件,启动 redis 服务

redis-server conf/redis-6380.conf

```

### 3、cluster集群搭建:master-03 窗口 服务端

(打开一个终端,作为主节点3 master-03 窗口 服务端)

```java

# 切换到 redis 安装目录下(master-03窗口)

cd /usr/local/redis/redis-4.0.0/

# 指定配置文件,启动 redis 服务(master-03窗口):

redis-server conf/redis-6381.conf

```

### 4、cluster集群搭建:slave-01 窗口 服务端

(打开一个终端,作为从节点1 slave-01 窗口 服务端)

```java

# 切换到 redis 安装目录下(slave-01窗口)

cd /usr/local/redis/redis-4.0.0/

# 指定配置文件,启动 redis 服务

redis-server conf/redis-6382.conf

```

### 5、cluster集群搭建:slave-02 窗口 服务端

(打开一个终端,作为从节点2 slave-02 窗口 服务端)

```java

# 切换到 redis 安装目录下(slave-02窗口)

cd /usr/local/redis/redis-4.0.0/

# 指定配置文件,启动 redis 服务

redis-server conf/redis-6383.conf

```

### 6、cluster集群搭建:slave-03 窗口 服务端

(打开一个终端,作为从节点3 slave-03 服务端)

```java

# 切换到 redis 安装目录下(slave-03 窗口)

cd /usr/local/redis/redis-4.0.0/

# 指定配置文件,启动 redis 服务

redis-server conf/redis-6384.conf

```

### 7、打开另一终端客户端(主命令操作客户端 窗口)

```java

# 切换到 redis 安装目录下(主命令操作客户端 窗口)

cd /usr/local/redis/redis-4.0.0/

# 查看 redis 服务端 启动情况

ps -ef | grep redis

# 查看 src 目录的 redis-trib.rb (需要提前安装 ruby-2.3.1p112 和 gem-2.7.7, 并注意版本冲突问题)

# 切换到 redis 安装目录下的 src 目录

cd /usr/local/redis/redis-4.0.0/src/

# 当前目录,启动 redis-trib.rb 创建一对一集群

./redis-trib.rb create --replicas 1 127.0.0.1:6379 127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6382

127.0.0.1:6383 127.0.0.1:6384

Can I set the above configuration?(type 'yes' to accept): yes

# 所有节点都加入配置,redis 集群搭建完成。

```

### 8、打开另一终端客户端(机动客户端 窗口),连接 节点服务端

```java

# 启动另一客户端(机动客户端 窗口):

# 切换到 redis 安装目录 data 目录(集群创建后,生成多个配置文件)

cd /usr/local/redis/redis-4.0.0/data/

# 查看几个配置文件变化

cat nodes-6379.conf

cat nodes-6384.conf

```

### 9、redis 搭建方式

1)原生安装(单条命令)

- 配置服务器(3主3从)。

- 建立通信(Meet)。

- 分槽(Slot)。

- 搭建主从(master-slave)。

2)工具安装(批处理)。

## 四、redis 集群 -- 设置与获取数据

### 1、打开另一终端客户端(master-cli-01客户端 窗口)

```java

# 切换到 redis 安装目录下(master-cli-01客户端 窗口)

cd /usr/local/redis/redis-4.0.0/

# 连接 redis 集群服务器(默认连接6379),创建数据

redis-cli -c

127.0.0.1:6379> set name redis-6379

```

### 2、打开另一终端客户端(slave-cli-01客户端 窗口)

```java

# 切换到 redis 安装目录下(slave-cli-01客户端 窗口)

cd /usr/local/redis/redis-4.0.0/

# 连接 redis 集群服务器,获取数据

redis-cli -c -p 6382

127.0.0.1:6382> get name

```

## 五、redis 集群 -- 主从下线与主从切换

### 1、cluster集群搭建:slave-01 窗口 服务端,测试停止 slave-01(6382从节点1服务)

(打开一个终端,作为从节点1 slave-01 窗口 服务端)

```java

# 切换到 redis 安装目录下(slave-01窗口)

cd /usr/local/redis/redis-4.0.0/

# 测试停止 slave-01(6382从节点1服务),查看其他节点服务日志变化

Ctrl + c 停止6382从节点1服务slave-01

# 指定配置文件,启动 redis 服务,再次查看其他节点服务日志变化

redis-server conf/redis-6382.conf

```

### 2、cluster集群搭建:master-01 窗口 服务端

(打开一个终端,作为主节点1 master-01 窗口 服务端)

```java

# 切换到 redis 安装目录 (master-01窗口)

cd /usr/local/redis/redis-4.0.0/

# 测试停止 主节点1 master-01-6379 服务,查看其他节点服务日志变化

Ctrl + c 停止6379主节点1服务master-01

# 指定配置文件,启动 redis 服务,再次查看其他节点服务日志变化

redis-server conf/redis-6379.conf

```

### 3、打开另一终端客户端(slave-cli-01客户端 窗口)

```java

# 切换到 redis 安装目录下(slave-cli-01客户端 窗口)

cd /usr/local/redis/redis-4.0.0/

# 连接 redis 集群服务器,获取数据

redis-cli -c -p 6382

127.0.0.1:6382> get name

# 查看节点信息

127.0.0.1:6382> cluster nodes

```

### 4、Cluster 配置

1)添加节点

```java

cluster-enabled yes|no

```

2)cluster 配置文件名,该文件属于自动生成,仅用于快速查找文件并查询文件内容

```java

cluster-config-file <filename>

```

3)节点服务响应超时时间,用于判定该节点是否下线或切换为从节点

```java

cluster-node-timeout <milliseconds>

```

4)master 连接的 slave 最小数量

```java

cluster-migration-barrier <count>

```

### 5、Cluster 节点操作命令

1)查看集群节点信息

```java

cluster nodes

```

2)进入一个从节点 redis,切换其主节点

```java

cluster replicate <master-id>

```

3)发现一个新节点,新增主节点

```java

cluster meet ip:port

```

4)忽略一个没有solt的节点

```java

cluster forget <id>

```

5)手动故障转移

```java

cluster failover

```

### 6、redis-trib 命令

1)添加节点:redis-trib.rb add-node

2)删除节点:redis-trib.rb del-node

3)重新分片:redis-trib.rb reshard

****`上一节关联链接请点击:`****

# Redis 入门到精通(十)-- 哨兵

[# Redis 入门到精通(十)-- 哨兵](https://dzs168.blog.csdn.net/article/details/140593943)

相关推荐

Oracle 数据库查询:多表查询(oracle多表关联查询)

一、多表查询基础1.JOIN操作-INNERJOIN:返回两个表中满足连接条件的匹配行,不保留未匹配数据。SELECTa.emp_id,b.dept_nameFROMempl...

一文掌握怎么利用Shell+Python实现多数据源的异地备份程序

简介:在信息化时代,数据安全和业务连续性已成为企业和个人用户关注的焦点。无论是网站数据、数据库、日志文件,还是用户上传的文档、图片等,数据一旦丢失,损失难以估量。尤其是当数据分布在多个不同的目录、服务...

浅谈Java内省(java内部)

一、什么是内省讲内省,不得不说JavaBean,Bean在Java中是一种特殊的类,主要用于装载数据,数据会被存储在类的私有属性中,通常具有无参构造函数、可序列化、以及通过getter和setter...

MyBatis批量插入的3种方案对比,速度差10倍!

你还在用for循环做MyBatis批量插入?本文通过真实案例+代码实测,对比三种批量插入方案的速度差异与实现原理。文末附实测数据截图,看完立省80%数据库操作时间!一、青铜方案:循环单条插入(性能灾...

渗透中值得关注的不常见的敏感扩展名综合指南,收藏夹吃灰专用

在进行渗透测试或数据安全评估时,除了常规的.config、.xml、.sql、.bak等文件,还存在许多不常见但可能包含极高价值敏感信息的文件。以.psc(Navicat数据库备份压缩文件)为...

美创安全实验室 | 三大数据库写入WebShell的姿势总结

WebShell作为黑客常用来提权的工具,通常出现在存在任意文件上传漏洞的网站中,但如果遇到一个没有任何的上传点的网站,想通过文件上传漏洞获得权限显然就行不通了,但所谓"山穷水尽疑无路、柳暗花...

Java面试必备八股文(java面试必备八股文pdf下载)

Java基础1.Java的特点面向对象平台无关性(JVM实现)健壮性(自动内存管理、异常处理)多线程支持安全性2.Java基本数据类型8种基本类型:整型:byte(1),short(2),in...

嵌入式ADC驱动框架:通道控制 + 数据读取全流程剖析

一个嵌入式操作系统或驱动框架中的ADC(模拟数字转换器)驱动模块,用于管理ADC通道的配置、读取、启停等功能。以下是对各部分的详细解读:一、基本结构和宏控制#ifdefMR_USING_AD...

40亿QQ号,不超过1G内存,如何去重?

分享一道网上很火的面试题:40亿QQ号,不超过1G的内存,如何去重?这是一个非常经典的海量数据去重问题,并且做了内存限制,最多只能1GB,本文跟大家探讨一下~~一、常规思路我们日常开发中,如果谈到去重...

PS各个工具的作用及用法(ps中各个工具的用途及使用方法)

PS各个工具的作用及用法1.移动工具,可以对PHOTOSHOP里的图层、照片进行移动。2.选框工具,负责建立形状的选区,可以用来抠图。只有选区内的图像可以修改。(1)矩形选择工具,可以对图像选一个矩形...

PS中常用图片的格式(ps中常用图片的格式是什么)

PhotoshopCC支持多种文件格式,如TIFF、GIF、JPEG等,文件格式决定了图像数据的存储方式以及文件是否与一些应用程序兼容。使用【存储】或者【存储为】命令保存文件时,可以在弹出的对话框...

浅析 BMP 位图(bmp位图是什么意思)

1、BMP是什么?BMP是Bitmap(位图)的简称,是windows显示图片的基本格式。在windows下,任何格式的图片文件(包括视频播放)都要转化为位图才能显示出来,各种各样格式的图片文件也都...

ClickHouse在自助行为分析场景的实践应用

一、自助分析场景OLAP技术选型1.1背景1.2OLAP选型考量1.3ClickHouse二、高斯平台自助分析场景2.1系统介绍2.2系统架构2.3ClickHouse在高斯平台的业务场景...

PostgreSQL 模糊查询优化(全模糊、忽略大小写优化)

模糊查询是数据库系统中非常常见的一种操作,比如查找用户名、邮件、用户地址、电话等等。我们知道前缀匹配(LIKExx%)是可以走索引的,但是全模糊(LIKE%xx%)就无法走索引,甚至忽略大小写等这...

Java手写一个bitmap(java怎么写)

位图(Bitmap)是一种高效的,使用位来记录数据的结构,多用于存储和操作大量布尔值(通常是true或false)。位图通过使用位(bit)来表示布尔值,从而节省存储空间并提高操作效率。位(Bit):...

取消回复欢迎 发表评论: