百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

SpringCloud微服务详解:Redis 高可用集群

mhr18 2024-10-23 11:37 21 浏览 0 评论

前言

一般的小项目,比如几百人左右访问的项目,访问量几万的项目,如果想用缓存,单机实例完全够用。小黄图就是用的阿里云256MB配置的Redis缓存,日几千的访问量是妥妥够用的了。Redis号称可以支撑10w+qps,当然这也给机器配置有一定的关系,如果单实例满足不了需求,想追求更高的性能和稳定性,可以选择主从、哨兵已经更好的解决方案Redis-Cluster集群。

架构

集群部署

如题,我们这里直接使用 Redis-Cluster 高可用集群。Redis-Cluster集群采用无中心结构,它的特点如下:

  • 所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽。
  • 节点的fail是通过集群中超过半数的节点检测失效时才生效。
  • 客户端与redis节点直连,不需要中间代理层,客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可。

生产环境redis集群至少需要一个备份节点,才能更好的保证集群的高可用。一个集群里面有 M1-S1、M2-S2、M3-S3 六个主从节点,其中节点 M1 包含 0-5500号哈希槽,节点 M2 包含5501-11000 号哈希槽,节点 M3 包含11001-16384号哈希槽。如果是 M1 宕掉,集群便会选举S1 为新节点继续服务,整个集群还会正常运行。当 M1、S1 都宕掉了,这时候集群就不可用了。

建议使用至少六台单独的服务器进行部署,这里为了搭建方便,撸主在一台服务器上进行实操。下载最新版本:

wget http://download.redis.io/releases/redis-6.0.5.tar.gz

升级基础组件,否则编译安装会报错:

# 升级到gcc 9.3:
yum -y install centos-release-scl
yum -y install devtoolset-9-gcc devtoolset-9-gcc-c++ devtoolset-9-binutils
scl enable devtoolset-9 bash
# 需要注意的是scl命令启用只是临时的,退出shell或重启就会恢复原系统gcc版本。
# 如果要长期使用gcc 9.3的话:
echo "source /opt/rh/devtoolset-9/enable" >>/etc/profile

编译安装:

make && make install

创建集群配置:

mkdir redis-cluster

创建集群文件夹,然后在该文件夹下创建6个文件,同redis.conf配置一致,7001.conf、7002.conf、7003.conf、7004.conf、7005.conf、7006.conf然后修改各个配置:

port  700x                             // 端口700X
bind 本机ip                             // 需要改为其他节点机器可访问的ip 否则创建集群时无法访问对应的端口,无法创建集群
daemonize    yes                       // redis后台运行
pidfile  /var/run/redis_7001.pid       // pidfile文件对应7001,7002
cluster-enabled  yes                   // 开启集群  把注释#去掉
cluster-config-file  nodes_7001.conf   // 集群的配置  配置文件首次启动自动生成 7001,7002
cluster-node-timeout  15000            // 请求超时  默认15秒,可自行设置
appendonly  yes    // # AOF 持久化,按需要选择是否开启

启动服务:

redis-server ../redis-cluster/7001.conf
redis-server ../redis-cluster/7002.conf
redis-server ../redis-cluster/7003.conf
redis-server ../redis-cluster/7004.conf
redis-server ../redis-cluster/7005.conf
redis-server ../redis-cluster/7006.conf

创建集群:

--replicas参数指定集群中每个主节点配备几个从节点,这里设置为1。
redis-cli --cluster create 172.17.1.218:7001 172.17.1.218:7002 172.17.1.218:7003 172.17.1.218:7004 172.17.1.218:7005 172.17.1.218:7006 --cluster-replicas 1

查看集群:

redis-cli --cluster check 172.17.1.218:7001
172.17.1.218:7002 (406a1d6e...) -> 0 keys | 5461 slots | 1 slaves.
172.17.1.218:7003 (85df8dc9...) -> 0 keys | 5462 slots | 1 slaves.
172.17.1.218:7004 (54f13720...) -> 2 keys | 5461 slots | 1 slaves.
[OK] 2 keys in 3 masters.
0.00 keys per slot on average.
>>> Performing Cluster Check (using node 172.17.1.218:7001)
S: 2d589d0077771ca9a7b2909b351e350aa69bea45 172.17.1.218:7001
   slots: (0 slots) slave
   replicates 54f13720da944d3dcc75351c4042fcaf3b2300e0
M: 406a1d6e9bcc760501c6b8f71f9151e020b247bd 172.17.1.218:7002
   slots:[10923-16383] (5461 slots) master
   1 additional replica(s)
S: e52eda05e4df779e15437f7f42522459a3e26b27 172.17.1.218:7005
   slots: (0 slots) slave
   replicates 85df8dc9b649e02740fa0f932aa1df135d44953e
M: 85df8dc9b649e02740fa0f932aa1df135d44953e 172.17.1.218:7003
   slots:[5461-10922] (5462 slots) master
   1 additional replica(s)
M: 54f13720da944d3dcc75351c4042fcaf3b2300e0 172.17.1.218:7004
   slots:[0-5460] (5461 slots) master
   1 additional replica(s)
S: 60f49255085936fbcf682bafc81319f9393150c9 172.17.1.218:7006
   slots: (0 slots) slave
   replicates 406a1d6e9bcc760501c6b8f71f9151e020b247bd
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

从集群信息,我们可以看出有三组主从关系:

  • 7004(主)-7001(从)
  • 7003(主)-7005(从)
  • 7002(主)-7006(从)

其实一开始7001是主,为了测试主从切换,把7001杀掉,由7004接管,然后重启7001变为从服务。

整合

pom.xml 引入:

<dependency>
     <groupId>org.springframework.boot</groupId>
     <artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>

配置文件 bootstrap.yml:

spring:
  redis:
    timeout: 30000
    password: 123456
    cluster:
      nodes:
        - 172.17.1.218:7001
        - 172.17.1.218:7002
        - 172.17.1.218:7003
        - 172.17.1.218:7004
        - 172.17.1.218:7005
        - 172.17.1.218:7006
      max-redirects: 3
    lettuce:
      max-active: 1000
      max-idle: 10
      max-wait: -1
      min-idle: 5

开发者可以对 RedisTemplate 进行一个简单的封装成 RedisUtil,可参考妹子图缓存工具类。

小结

这就是微服务版本的 Redis 高可用集群,是不是有点简单。不过,生产环境建议配置内网地址,开启防火墙,配置必要的鉴权访问机制,这玩意一旦被嗅探到可能会被老板扣工资的。还有一点,一定要搭建有效的监控预警系统,这样可以针对性的对其进行扩容、修复。

相关推荐

Docker安装详细步骤及相关环境安装配置

最近自己在虚拟机上搭建一个docker,将项目运行在虚拟机中。需要提前准备的工具,FinallShell(远程链接工具),VM(虚拟机-配置网络)、CentOS7(Linux操作系统-在虚拟机上安装)...

Linux下安装常用软件都有哪些?做了一个汇总列表,你看还缺啥?

1.安装列表MySQL5.7.11Java1.8ApacheMaven3.6+tomcat8.5gitRedisNginxpythondocker2.安装mysql1.拷贝mysql安装文件到...

Nginx安装和使用指南详细讲解(nginx1.20安装)

Nginx安装和使用指南安装1.检查并安装所需的依赖软件1).gcc:nginx编译依赖gcc环境安装命令:yuminstallgcc-c++2).pcre:(PerlCompatibleRe...

docker之安装部署Harbor(docker安装hacs)

在现代软件开发和部署环境中,Harbor作为一个企业级的容器镜像仓库,提供了高效、安全的镜像管理解决方案。通过Docker部署Harbor,可以轻松构建私有镜像仓库,满足企业对镜像存储、管理和安全性...

成功安装 Magento2.4.3最新版教程「技术干货」

外贸独立站设计公司xingbell.com经过多次的反复实验,最新版的magento2.4.3在oneinstack的环境下的详细安装教程如下:一.vps系统:LinuxCentOS7.7.19...

【Linux】——从0到1的学习,让你熟练掌握,带你玩转Linu

学习Linux并掌握Java环境配置及SpringBoot项目部署是一个系统化的过程,以下是从零开始的详细指南,帮助你逐步掌握这些技能。一、Linux基础入门1.安装Linux系统选择发行版:推荐...

cent6.5安装gitlab-ce最新版本-11.8.2并配置邮件服务

cent6.5安装gitlab-ce最新版本-11.8.2并配置邮件服务(yum选择的,时间不同,版本不同)如果对运维课程感兴趣,可以在b站上搜索我的账号:运维实战课程,可以关注我,学习更多免费的运...

时隔三月,参加2020秋招散招,终拿字节跳动后端开发意向书.

3个月前头条正式批笔试4道编程题只AC了2道,然后被刷了做了200多道还是太菜了,本来对字节不抱太大希望,毕竟后台竞争太大,而且字节招客户端开发比较多。后来看到有散招免笔试,抱着试一试的心态投了,然而...

Redisson:Java程序员手中的“魔法锁”

Redisson:Java程序员手中的“魔法锁”在这个万物互联的时代,分布式系统已经成为主流。然而,随着系统的扩展,共享资源的争夺成为了一个棘手的问题。就比如你想在淘宝“秒杀”一款商品,却发现抢的人太...

【线上故障复盘】RPC 线程池被打满,1024个线程居然不够用?

1.故障背景昨天晚上,我刚到家里打开公司群,就看见群里有人讨论:线上环境出现大量RPC请求报错,异常原因:被线程池拒绝。虽然异常量很大,但是异常服务非核心服务,属于系统旁路,服务于数据核对任务,即使...

小红书取消大小周,有人不高兴了!

小红书宣布五一节假日之后,取消大小周,恢复为正常的双休,乍一看工作时长变少,按道理来说大家应该都会很开心,毕竟上班时间缩短了,但是还是有一些小红书的朋友高兴不起来,心情很复杂。因为没有了大小周,以前...

延迟任务的多种实现方案(延迟机制)

场景订单超时自动取消:延迟任务典型的使用场景是订单超时自动取消。功能精确的时间控制:延时任务的时间控制要尽量准确。可靠性:延时任务的处理要是可靠的,确保所有任务最终都能被执行。这通常要求延时任务的方案...

百度java面试真题(java面试题下载)

1、SpingBoot也有定时任务?是什么注解?在SpringBoot中使用定时任务主要有两种不同的方式,一个就是使用Spring中的@Scheduled注解,另一个则是使用第三方框架Q...

回归基础:访问 Kubernetes Pod(concurrent.futures访问数据库)

Kubernetes是一头巨大的野兽。在它开始有用之前,您需要了解许多概念。在这里,学习几种访问集群外pod的方法。Kubernetes是一头巨大的野兽。在它开始有用之前,您需要了解许多不同的...

Spring 缓存神器 @Cacheable:3 分钟学会优化高频数据访问

在互联网应用中,高频数据查询(如商品详情、用户信息)往往成为性能瓶颈。每次请求都触发数据库查询,不仅增加服务器压力,还会导致响应延迟。Spring框架提供的@Cacheable注解,就像给方法加了一...

取消回复欢迎 发表评论: