百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

互联网服务:实战Redis,解决高并发性能问题

mhr18 2024-10-25 12:38 28 浏览 0 评论

1. 目的

撰写本文的目的是解决微服务架构,对静态数据资源没有规整,所有微服务都是从数据库直接读取,导致性能较差,用户体验不好。通常在高可用的分布式架构中,一般都会采用将这部分数据放到内存当中,提高系统的访问性能。

如果采用Redis这种内存型的缓存数据库,那么针对分布式架构来说,必然要考虑其高可用,因此我们必然要考虑搭建Redis的集群方案来为微服务平台提供保障。

2. 技术体系

Redis 3.0之后的版本支持Cluster。许多公司采用的是阿里云提供的Redis服务,使用的单节点的模式。

3. 缓存对象

3.1. 公共数据

公共数据:用户数据、基础字典等配置信息。

数据类型:经过对现有公共接口数据结构的分析,基本都是以List集合的形式对外输出。

3.2. 独立微服务数据

指的是某个微服务自己使用的数据,如:报表的数据编辑实时填写缓存到Redis。

数据类型: String、List

4. 技术方案

4.1. 阿里云产品介绍

4.1.1. 规格介绍

序号

规格类型

描述

适用场景

1

标准版-单副本

标准版-单副本采用单个数据库节点部署架构

l 纯缓存类业务场景。

说明 对数据可靠性要求较高的敏感性业务,不建议使用单副本版。

l 对Redis协议兼容性要求较高的场景。

l 单个Redis性能压力可控的场景。

l Redis命令相对简单,排序和计算之类的命令较少的场景。

2

标准版-双副本

标准版-双副本采用主从(Replication)模式搭建。

l 对Redis协议兼容性要求较高的业务。

l Redis作为持久化数据存储使用的业务。

l 单个Redis性能压力可控的场景。

l Redis命令相对简单,排序和计算之类的命令较少的场景。

3

集群版-单副本

单副本集群版实例采用集群架构,每个分片服务器采用单副本模式。

l 数据量较大的场景。

l 纯缓存类业务场景。

说明 对数据可靠性要求较高的敏感性业务,不建议使用集群版-单副本。

l QPS压力较大的场景。

l 吞吐密集型应用场景。

l 对数据持久化无要求的缓存类型业务场景。

4

集群版-双副本

双副本集群版实例采用集群架构,每个分片服务器采用双副本模式。

l 数据量较大的场景。

l QPS压力较大的场景。

l 吞吐密集型应用场景。

5

读写分离实例

Redis读写分离版本由代理服务器(Proxy Servers)、主备(Master and Replica)节点及只读(Read-Only)节点组成。

l 读取请求QPS压力较大的场景。

l 对Redis协议兼容性要求较高的业务场景。

l Redis作为持久化数据存储使用的业务场景。



4.1.2. 规格性能


4.2. 服务器配置

目前,在阿里云上,由于各位服务对redis使用量较少,甚至有的服务中基本没有使用,所以当前的配置是1核1G


4.3. 三种架构模式

4.3.1. Redis主从

Redis主从模式是最简单的一种集群方案配置起来也比较简单,它的特点主要有:

l 一个master可以拥有多个slave;

l 多个slave链接同一个master,也可以链接其它slave;

l 主从复制不会阻塞master,在同步数据时,master可以继续处理client请求;

l slave 配置为slave-read-only on需要升级为主节点或者写入配置文件中, 而不能在默认slave情况下直接设置master与slave断开后会检测心跳, 重新建立连接;

l 可以直接copy DUMP文件重新重启master,在Master为空以后,slave同步数据会抹掉全部数据。

该方案缺点较多,往Master节点写数据,同时Master节点会异步写入slave节点中。这种方案目前使用的越来越少,不过对于个体开发并且对缓存依赖度不高的系统还是可以使用的,毕竟搭建和维护简单。

应用场景:可用于可穿透的业务场景,如后端有DB存储,脱机影响不大的应用。

4.3.2. Redis sentinel

鉴于4.1.1节描述的standalone类型的架构缺点较多,故在此模式基础上,增加sentinel哨兵,用于监控master/slave运行情况、调度Redis主从切换等。下图中对于sentinel使用了最小粒度的集群模式,最大限度地实现较小规模的高可用缓存。

应用场景:用于高可用需求场景,可用于高可用Cache,存储等场景。 内存/QPS受限于单机。

4.3.3. Redis Cluster

可直接采用官方给出的推荐方案,将node配置成主从结构。图下图所示为最小节点的Redis高并发、高可用集群。

应用场景:用于高可用需求场景,可用于大数据量高可用Cache/存储等场景。 内存/QPS不受限于单机,可受益于分布式集群高扩展性。

4.4. 数据存储格式

鉴于我们的微服务众多,为了规避key一样的情况发生。因此,需要约定下存储格式:服务名#业务分类名##key(调用的key)

公共接口数据key约定:服务器ID#user##key(调用的key);

独立微服务数据key约定:服务器ID#服务名##users##getUsersDetail(调用的key);

以上所有的“cs#user##”或“服务名#”开头的前缀,统一由公共接口实现,业务方使用时的入口为最后的key即可。

4.5. 可用API

接口:IRedisService

序号

接口定义

描述


1

boolean set(String key, Object value)

添加String类型的缓存数据


2

boolean set(String key, Object value, Long expireTime)

自定义有效时间的String类型缓存数据


3

Object get(String key)

读取String类型的缓存


4

void setHash(String key, Map<?,?> map)

哈希 添加Map


5

Object getHash(String key)

获取哈希数据


6

void setList(String key, Object value)

List列表添加


7

List<Object> getList(String key, long start, long end)

List列表获取

start 开始

end 结束 0 到 -1代表所有值

8

void addSet(String key, Object value)

Set集合添加


9

Set<Object> getSet(String key)

Set集合获取


10

void addZSet(String key, Object value, double scoure)

ZSet有序集合添加


11

Set<Object> getZSet(String key, double scoure, double scoure1)

ZSet有序集合获取


12

boolean expire(String key,long time)

指定某key的缓存有效时间


13

long getExpire(String key)

获取指定key的过期时间


14

void remove(String... keys)

删除一组或单个key的缓存数据


15

boolean exists(String key)

判断缓存中是否有对应的value



5. 运行保障

5.1. 监控指标

连接客户数

阻塞连接数

Redis占用内存

内存峰值

主从角色

master_link_status

执行命令总数和qps

上报时间

相关推荐

【推荐】一个开源免费、AI 驱动的智能数据管理系统,支持多数据库

如果您对源码&技术感兴趣,请点赞+收藏+转发+关注,大家的支持是我分享最大的动力!!!.前言在当今数据驱动的时代,高效、智能地管理数据已成为企业和个人不可或缺的能力。为了满足这一需求,我们推出了这款开...

Pure Storage推出统一数据管理云平台及新闪存阵列

PureStorage公司今日推出企业数据云(EnterpriseDataCloud),称其为组织在混合环境中存储、管理和使用数据方式的全面架构升级。该公司表示,EDC使组织能够在本地、云端和混...

对Java学习的10条建议(对java课程的建议)

不少Java的初学者一开始都是信心满满准备迎接挑战,但是经过一段时间的学习之后,多少都会碰到各种挫败,以下北风网就总结一些对于初学者非常有用的建议,希望能够给他们解决现实中的问题。Java编程的准备:...

SQLShift 重大更新:Oracle→PostgreSQL 存储过程转换功能上线!

官网:https://sqlshift.cn/6月,SQLShift迎来重大版本更新!作为国内首个支持Oracle->OceanBase存储过程智能转换的工具,SQLShift在过去一...

JDK21有没有什么稳定、简单又强势的特性?

佳未阿里云开发者2025年03月05日08:30浙江阿里妹导读这篇文章主要介绍了Java虚拟线程的发展及其在AJDK中的实现和优化。阅前声明:本文介绍的内容基于AJDK21.0.5[1]以及以上...

「松勤软件测试」网站总出现404 bug?总结8个原因,不信解决不了

在进行网站测试的时候,有没有碰到过网站崩溃,打不开,出现404错误等各种现象,如果你碰到了,那么恭喜你,你的网站出问题了,是什么原因导致网站出问题呢,根据松勤软件测试的总结如下:01数据库中的表空间不...

Java面试题及答案最全总结(2025版)

大家好,我是Java面试陪考员最近很多小伙伴在忙着找工作,给大家整理了一份非常全面的Java面试题及答案。涉及的内容非常全面,包含:Spring、MySQL、JVM、Redis、Linux、Sprin...

数据库日常运维工作内容(数据库日常运维 工作内容)

#数据库日常运维工作包括哪些内容?#数据库日常运维工作是一个涵盖多个层面的综合性任务,以下是详细的分类和内容说明:一、数据库运维核心工作监控与告警性能监控:实时监控CPU、内存、I/O、连接数、锁等待...

分布式之系统底层原理(上)(底层分布式技术)

作者:allanpan,腾讯IEG高级后台工程师导言分布式事务是分布式系统必不可少的组成部分,基本上只要实现一个分布式系统就逃不开对分布式事务的支持。本文从分布式事务这个概念切入,尝试对分布式事务...

oracle 死锁了怎么办?kill 进程 直接上干货

1、查看死锁是否存在selectusername,lockwait,status,machine,programfromv$sessionwheresidin(selectsession...

SpringBoot 各种分页查询方式详解(全网最全)

一、分页查询基础概念与原理1.1什么是分页查询分页查询是指将大量数据分割成多个小块(页)进行展示的技术,它是现代Web应用中必不可少的功能。想象一下你去图书馆找书,如果所有书都堆在一张桌子上,你很难...

《战场兄弟》全事件攻略 一般事件合同事件红装及隐藏职业攻略

《战场兄弟》全事件攻略,一般事件合同事件红装及隐藏职业攻略。《战场兄弟》事件奖励,事件条件。《战场兄弟》是OverhypeStudios制作发行的一款由xcom和桌游为灵感来源,以中世纪、低魔奇幻为...

LoadRunner(loadrunner录制不到脚本)

一、核心组件与工作流程LoadRunner性能测试工具-并发测试-正版软件下载-使用教程-价格-官方代理商的架构围绕三大核心组件构建,形成完整测试闭环:VirtualUserGenerator(...

Redis数据类型介绍(redis 数据类型)

介绍Redis支持五种数据类型:String(字符串),Hash(哈希),List(列表),Set(集合)及Zset(sortedset:有序集合)。1、字符串类型概述1.1、数据类型Redis支持...

RMAN备份监控及优化总结(rman备份原理)

今天主要介绍一下如何对RMAN备份监控及优化,这里就不讲rman备份的一些原理了,仅供参考。一、监控RMAN备份1、确定备份源与备份设备的最大速度从磁盘读的速度和磁带写的带度、备份的速度不可能超出这两...

取消回复欢迎 发表评论: