redis专题系列19 -- redis Cluster集群模式动态扩容实战
mhr18 2024-11-28 08:37 13 浏览 0 评论
上文我们讲了redis-trib.rb工具的命令及其用法示例,本文就进入实战,对于大公司来讲,这可能是运维团队的事情,开发几乎很少接触,但小公司基本上一个开发就是从运维到前端的合成体,当然,会的越多,你得到的报酬也就越动人。
本文主要内容包含两部分:1.新节点的加入 2.废弃节点删除
环境配置:节点实例配置信息从考上文,集群为3主3从,端口号7000~7005.
新节点的动态加入
1.创建新的redis实例,7006和7007,配置文件如下:
##7006 port 7006 cluster-enabled yes cluster-config-file "nodes.7006.conf" cluster-node-timeout 20000 appendonly yes dbfilename "dump.7006.rdb" ## 7007 port 7007 cluster-enabled yes cluster-config-file "nodes.7007.conf" cluster-node-timeout 20000 appendonly yes dbfilename "dump.7007.rdb"
2.删除原来的配置文件nodes.xxxx.conf及对应的数据文件dump.xxxx.rdb。
3.启动batch.bat文件,redis集群创建成功
4.启动新增的两个redis实例7006,7007,参看下面的启动脚本
5.新节点7006新增为主节点成功
6.通过命令redis-cli -c -p 7000 cluster nodes查看新节点的信息
7.此时,虽然加入集群成功并不意味着它可以被正常使用了,还需要分配对应的slosts,此处为他分配200个节点
1>使用rb的reshard命令为节点7006分配slots
redis-trib.rb reshard 127.0.0.1:7006(集群中任意节点)
2>分配slots
3>.执行预分片计划,分配slots
8.为7006添加从节点7007
执行命令:redis-trib.rb add-node --slave --master-id 699a197663f31fbbd637fc8d81c1ea723c0c5fc2 127.0.0.1:7007 127.0.0.1:7006
9.查看集群信息
此时我们完成了集群新增节点的动态扩容。
废弃节点删除
我们随便在redis填充键值对,填充后key分布如下:
1.由上文知道,加入我们直接执行del-node命令删除7000的节点,则删除失败,所以我们首先对节点7000进行在线迁移slots操作,把它迁移到7006的节点上。
执行命令 redis-trib.rb reshard 127.0.0.1:7000 ,但很很遗憾的是在MOVE带有key 的slot时,程序报错了
Syntax error ,try CLIENT (LIST|KILL|GETNAME|SETNAME|PAUSE|REPLY).
翻开源码:发现具体迁移步骤是通过 move_slot函数调用(redis-trib.rb文件中),最终更改redis-trib.rb脚本如下解决问题:
begin #source.r.client.call(["migrate",target.info[:host],target.info[:port],"",0,@timeout,:keys,*keys]) # 原:source.r.client.call(["migrate",target.info[:host],target.info[:port],key,0,15000]) #改:source.r.call(["migrate",target.info[:host],target.info[:port],"",0,15000,"replace",:keys,*keys]) rescue => e if o[:fix] && e.to_s =~ /BUSYKEY/ xputs "*** Target key exists. Replacing it for FIX." #source.r.client.call(["migrate",target.info[:host],target.info[:port],"",0,@timeout,:replace,:keys,*keys]) # 原: source.r.client.call(["migrate",target.info[:host],target.info[:port],key,0,1500,:replace]) # 改: source.r.call(["migrate",target.info[:host],target.info[:port],"",0,1500,:replace,:keys,*keys])
它先执行networking.c 文件中的 clientCommand(client *c),根据参数一一比对(if条件语句)。这时候就会发现bug来了!!!clientCommand函数中没有 migrate分支。
所以会返回一个 Syntax error ,try CLIENT (LIST|KILL|GETNAME|SETNAME|PAUSE|REPLY);
这个错误信息告诉你, Client中只有LIST|KILL|GETNAME|SETNAME|PAUSE|REPLY分支。
所以使用改的代码,就可以很顺利的迁移slot了。
2.此时如果再迁移时cluster报错,使用fix命令修复报错的节点就好了。
3.修复报错后,将剩余slots继续迁移到7006,此时查看集群信息:
7000的所有slots成功迁移到7006上,且原有的key也成功迁移到了7006节点上,原来7000的从节点也成为了7006的从节点
4.删除redis节点
4.1,删除从节点
既然主节点已经被移除了,大部分情况下从节点也会被删除,那么如何删除从节点。
redis-trib.rb del-node 127.0.0.1:7000 7699ef6a7a224a304714fb394cadea9164e3d42a
删除成功,一般删除后,会rb会发送shutdown命令,把删除掉的服务关闭
4.2,删除主节点,由于7000的slots已被动态迁移到7006节点上,故直接删除7000节点即可
redis-trib.rb del-node 127.0.0.1:7006 6f4d202516342f8ff5a00732530c59155668e024
OK,其他的命令请参考前文,码字不易,喜欢小编就关注一下吧,谢谢你的支持。
相关推荐
- B站收藏视频失效?mybili 收藏夹备份神器完整部署指南
-
本内容来源于@什么值得买APP,观点仅代表作者本人|作者:羊刀仙很多B站用户都有过类似经历:自己精心收藏的视频突然“消失”,点开一看不是“已被删除”,就是“因UP主设置不可见”。而B站并不会主动通知...
- 中间件推荐初始化配置
-
Redis推荐初始化配置bind0.0.0.0protected-modeyesport6379tcp-backlog511timeout300tcp-keepalive300...
- Redis中缓存穿透问题与解决方法
-
缓存穿透问题概述在Redis作为缓存使用时,缓存穿透是常见问题。正常查询流程是先从Redis缓存获取数据,若有则直接使用;若没有则去数据库查询,查到后存入缓存。但当请求的数据在缓存和数据库中都...
- 后端开发必看!Redis 哨兵机制如何保障系统高可用?
-
你是否曾在项目中遇到过Redis主服务器突然宕机,导致整个业务系统出现数据读取异常、响应延迟甚至服务中断的情况?面对这样的突发状况,作为互联网大厂的后端开发人员,如何快速恢复服务、保障系统的高可用...
- Redis合集-大Key处理建议
-
以下是Redis大Key问题的全流程解决方案,涵盖检测、处理、优化及预防策略,结合代码示例和最佳实践:一、大Key的定义与风险1.大Key判定标准数据类型大Key阈值风险场景S...
- 深入解析跳跃表:Redis里的"老六"数据结构,专治各种不服
-
大家好,我是你们的码农段子手,今天要给大家讲一个Redis世界里最会"跳科目三"的数据结构——跳跃表(SkipList)。这货表面上是个青铜,实际上是个王者,连红黑树见了都要喊声大哥。...
- Redis 中 AOF 持久化技术原理全解析,看完你就懂了!
-
你在使用Redis的过程中,有没有担心过数据丢失的问题?尤其是在服务器突然宕机、意外断电等情况发生时,那些还没来得及持久化的数据,是不是让你夜不能寐?别担心,Redis的AOF持久化技术就是...
- Redis合集-必备的几款运维工具
-
Redis在应用Redis时,经常会面临的运维工作,包括Redis的运行状态监控,数据迁移,主从集群、切片集群的部署和运维。接下来,从这三个方面,介绍一些工具。先来学习下监控Redis实时...
- 别再纠结线程池大小 + 线程数量了,没有固定公式的!
-
我们在百度上能很轻易地搜索到以下线程池设置大小的理论:在一台服务器上我们按照以下设置CPU密集型的程序-核心数+1I/O密集型的程序-核心数*2你不会真的按照这个理论来设置线程池的...
- 网络编程—IO多路复用详解
-
假如你想了解IO多路复用,那本文或许可以帮助你本文的最大目的就是想要把select、epoll在执行过程中干了什么叙述出来,所以具体的代码不会涉及,毕竟不同语言的接口有所区别。基础知识IO多路复用涉及...
- 5分钟学会C/C++多线程编程进程和线程
-
前言对线程有基本的理解简单的C++面向过程编程能力创造单个简单的线程。创造单个带参数的线程。如何等待线程结束。创造多个线程,并使用互斥量来防止资源抢占。会使用之后,直接跳到“汇总”,复制模板来用就行...
- 尽情阅读,技术进阶,详解mmap的原理
-
1.一句话概括mmapmmap的作用,在应用这一层,是让你把文件的某一段,当作内存一样来访问。将文件映射到物理内存,将进程虚拟空间映射到那块内存。这样,进程不仅能像访问内存一样读写文件,多个进程...
- C++11多线程知识点总结
-
一、多线程的基本概念1、进程与线程的区别和联系进程:进程是一个动态的过程,是一个活动的实体。简单来说,一个应用程序的运行就可以被看做是一个进程;线程:是运行中的实际的任务执行者。可以说,进程中包含了多...
- 微服务高可用的2个关键技巧,你一定用得上
-
概述上一篇文章讲了一个朋友公司使用SpringCloud架构遇到问题的一个真实案例,虽然不是什么大的技术问题,但如果对一些东西理解的不深刻,还真会犯一些错误。这篇文章我们来聊聊在微服务架构中,到底如...
- Java线程间如何共享与传递数据
-
1、背景在日常SpringBoot应用或者Java应用开发中,使用多线程编程有很多好处,比如可以同时处理多个任务,提高程序的并发性;可以充分利用计算机的多核处理器,使得程序能够更好地利用计算机的资源,...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- oracle位图索引 (63)
- oracle批量插入数据 (62)
- oracle事务隔离级别 (53)
- oracle 空为0 (50)
- oracle主从同步 (55)
- oracle 乐观锁 (51)
- redis 命令 (78)
- php redis (88)
- redis 存储 (66)
- redis 锁 (69)
- 启动 redis (66)
- redis 时间 (56)
- redis 删除 (67)
- redis内存 (57)
- redis并发 (52)
- redis 主从 (69)
- redis 订阅 (51)
- redis 登录 (54)
- redis 面试 (58)
- 阿里 redis (59)
- redis 搭建 (53)
- redis的缓存 (55)
- lua redis (58)
- redis 连接池 (61)
- redis 限流 (51)