面试官:请说明redis cluster集群的数据分布原理
mhr18 2024-12-05 14:16 14 浏览 0 评论
一、redis集群的部署模式
redis cluster是redis官方提供的分布式集群解决方案,在3.0版本正式推出,主要解决在高并发、大流量场景下单机出现的性能问题,使用数据分片的集群方式将流量进行分割,达到分而治之的目的。
以下是部署模式示意图,一般情况下集群至少保证三主+三从的部署结构,任意一个master节点故障可以提升slave节点为master节点。
与传统的通过代理进行分布式分发的方案对比,缺少了代理层,架构上更加的简单,也减少了代理层在性能上的损耗和维护上的成本。
二、数据分布方案
既然是集群的模式,就必然涉及到数据分布的问题,哪个数据应该落在哪个分区必须有明确的数据分布计算负责,一般来说应用普遍的有两种方案:
1、使用key值对节点取余分区
这种方式与数据库分库分表的方案类似,提前规划好分区数量,然后使用hash(key)%N的方式决定数据应该落在哪一个数据分区上,N为节点数量。
这种方式操作起来非常的简单,只是在数据扩容的时候,需要进行数据关系的重新映射,需要对原有的数据进行迁移,在数据量比较大的情况下很不方便。
2、虚拟槽分区
redis并没有采用节点取余分区的方式,而是采用了虚拟槽分区的方式,虚拟槽分区方案是使用哈希函数将所有的数据映射到一个固定范围的整数集合中,整数在这里被定义为slot槽,在redis cluster中范围是0~16383,集群中的每个节点负责其中一部分的slot,一般来说每个节点的slot数量比较平均,相差不大。
针对每一个数据的key,使用计算公式slot=CRC16(key)&16383计算其slot,然后根据slot在哪一个节点决定数据落在哪个分片上。
使用这种虚拟槽分区的方案有以下好处
- 无需任何代理,预案数据信息由所有的节点各自维护。
- 使用slot解除了数据和节点之间的耦合,简化了扩容和缩容的难度。
- 各节点均可提供元数据的查询,客户端直连节点可以方便的查询元数据信息进行数据路由。
三、集群扩容流程
集群的扩容就是槽和数据在redis集群中的重新分配的过程,扩容主要涉及以下流程:
- 新建redis待加入集群的节点。
- 使用cluster meet命令让节点加入集群。
- 使用虚拟槽分区的方案重新计算各个节点所负责的槽位,确定槽和数据迁移计划。
- 向目标节点发送cluster setslot {slot} importing {sourceNodeId}命令,准备导入槽的数据。
- 向源节点发送cluster setslot {slot} migrating {targetNodeId}命令,让源节点准备迁出槽数据
- 源节点循环执行cluster getkeysinslot {slot} {count}命令获取count个属于槽{slot}的key,然后通过migrate {targetIp} {targetPort} "" 0 {tiemout} keys {keys…}命令,把获取到的key通过pipeline迁移到目标节点。
- 使用cluster setslot {slot} node {targetNodeId}命令通知集群各节点迁移完成,slot的新的分配信息。
四、集群缩容流程
集群扩容的流程与扩容的流程一样都是涉及槽从一个节点被迁移到另外一个节点,不同的是集群扩容流程需要先新建新的节点,而缩容的流程则是需要下线节点,需要通知到集群中的其他节点下线节点的信息。
redis提供了redis-trib.rb工具用于通知节点下线,使用命令redis-trip.rb del-node {host:port} {downNodeId}
五、数据路由
为了保证性能,redis采用的是直连的方式,所发起请求的节点未必就是刚好对应数据槽所在的节点,所以就涉及到请求的重定向,在redis cluser模式下,客户端向某个节点发起请求,节点会根据规则计划出对应的数据所在的槽,并且根据元数据信息确定槽所在的节点,然后回复MOVED重定向错误,客户端收到这个重定向以后就知道了对应数据应该落在哪个目标节点上,于是重新向目标节点发起请求,流程示意图如下:
- 上一篇:MySQL分表、分区方法
- 下一篇:redis五大数据类型之sortedset
相关推荐
- MYSQL数据同步(mysql数据同步方式)
-
java开发工程师在实际的开发经常会需要实现两台不同机器上的MySQL数据库的数据同步,要解决这个问题不难,无非就是mysql数据库的数据同步问题。但要看你是一次性的数据同步需求,还是定时数据同步,亦...
- SpringBoot+Redis实现点赞收藏功能+定时同步数据库
-
由于点赞收藏都是高频率的操作,如果因此频繁地写入数据库会造成数据库压力比较大,因此采用redis来统计点赞收藏浏览量,之后定时一次性写入数据库中,缓解数据库地压力。一.大体思路设计redis中的储存结...
- 双11订单洪峰:Codis代理层如何扛住Redis集群搞不定的120万QPS?
-
双11订单洪峰下的技术挑战每年的双11购物节,都是对电商平台技术架构的极限考验。当零点钟声敲响,海量用户瞬间涌入,订单量呈指数级增长,系统需要承受每秒数十万甚至上百万次的请求。作为电商系统的核心组件之...
- 基于spring boot + MybatisPlus 商城管理系统的Java开源商城系统
-
前言Mall4j项目致力于为中小企业打造一个完整、易于维护的开源的电商系统,采用现阶段流行技术实现。后台管理系统包含商品管理、订单管理、运费模板、规格管理、会员管理、运营管理、内容管理、统计报表、权限...
- 商品券后价产品设计方案(显示券后价)
-
如何设计一套高效、准确且稳定的券后价计算系统,是电商产品设计中的关键挑战之一。本文详细介绍了商品券后价的产品设计方案,从背景目标、功能设计、系统实现逻辑到异常处理机制等多个方面进行了全面阐述。一、背景...
- 外观(门面)模式-Java实现(java 门面模式)
-
定义外观模式(FacadePattern),也叫门面模式,原始定义是:为了子系统中的一组接口提供统一的接口。定义一个更高级别的接口,使子系统更易于使用。大大降低应用程序的复杂度,提高了程序的可维护性...
- Mall - 用 SpringBoot 实现一个电商系统
-
目前最为主流的Web开发技术,包括SpringBoot、MyBatis、MongoDB、Kibina、Docker、Vue等,都是开发者十分需要掌握的技术。有没有一个全面而又实际的项目,能把这...
- 腾讯云国际站:哪些工具能实现可视化运维?
-
本文由【云老大】TG@yunlaoda360撰写开源工具Grafana:开源的可视化平台,可与Prometheus、Elasticsearch、MySQL等多种数据源集成,将复杂监控数据转化...
- 系统稳定性保障全流程实战:事前、事中、事后 Java 代码详解
-
在互联网架构中,系统稳定性是生命线。本文基于“事前预防、事中管控、事后复盘”三阶段模型,结合Java实战代码,深度解析如何构建高可用系统,让你的服务稳如磐石!一、事前:未雨绸缪,筑牢防线1.发...
- Java面试题:拆分微服务应该注意哪些地方方,如何拆分?
-
在拆分微服务时,需要综合考虑业务、技术和组织等多方面因素,以下是关键注意事项及拆分策略的详细说明:一、拆分注意事项1.业务边界清晰化单一职责原则:每个服务应专注于单一业务能力,例如订单服务仅处理订单...
- 软件性能调优全攻略:从瓶颈定位到工具应用
-
性能调优是软件测试中的重要环节,旨在提高系统的响应时间、吞吐量、并发能力、资源利用率,并降低系统崩溃或卡顿的风险。通常,性能调优涉及发现性能瓶颈、分析问题根因、优化代码和系统配置等步骤,调优之前需要先...
- Docker Compose实战,多容器协同编排的利器,让开发部署更高效!
-
开篇导读你是否有过这样的经历?启动一个项目,数据库、Redis、Web服务得一个个敲dockerrun?想让别人复现你的开发环境,却得发一堆复杂的启动命令?明明都是容器,为什么不能“一键启动”所...
- 如何设计Agent的记忆系统(agent记忆方法)
-
最近看了一张画Agent记忆分类的图我觉得分类分的还可以,但是太浅了,于是就着它的逻辑,仔细得写了一下在不同的记忆层,该如何设计和选型先从流程,作用,实力和持续时间的这4个维度来解释一下这几种记忆:1...
- 不了解业务和技术术语怎么做好产品和项目?
-
基础技术术语术语分类解释API开发技术应用程序接口,不同系统间数据交互的协议(如支付接口、地图接口)。SDK开发工具软件开发工具包,包含API、文档和示例代码,帮助快速接入服务。RESTfulAPI...
- Docker 架构详解与核心概念实战图解:一文读懂容器的前世今生
-
不懂Docker架构,你只是“用容器的人”;理解了它的底层逻辑,才能成为真正的高手!在学习Docker之前,很多同学可能会陷入一个误区:“反正我用dockerrun就能跑起服务,架构这种...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- oracle位图索引 (63)
- oracle批量插入数据 (62)
- oracle事务隔离级别 (53)
- oracle 空为0 (50)
- oracle主从同步 (55)
- oracle 乐观锁 (51)
- redis 命令 (78)
- php redis (88)
- redis 存储 (66)
- redis 锁 (69)
- 启动 redis (66)
- redis 时间 (56)
- redis 删除 (67)
- redis内存 (57)
- redis并发 (52)
- redis 主从 (69)
- redis 订阅 (51)
- redis 登录 (54)
- redis 面试 (58)
- 阿里 redis (59)
- redis 搭建 (53)
- redis的缓存 (55)
- lua redis (58)
- redis 连接池 (61)
- redis 限流 (51)