百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

互联网服务:实战Redis,解决高并发性能问题

mhr18 2024-10-25 12:38 32 浏览 0 评论

1. 目的

撰写本文的目的是解决微服务架构,对静态数据资源没有规整,所有微服务都是从数据库直接读取,导致性能较差,用户体验不好。通常在高可用的分布式架构中,一般都会采用将这部分数据放到内存当中,提高系统的访问性能。

如果采用Redis这种内存型的缓存数据库,那么针对分布式架构来说,必然要考虑其高可用,因此我们必然要考虑搭建Redis的集群方案来为微服务平台提供保障。

2. 技术体系

Redis 3.0之后的版本支持Cluster。许多公司采用的是阿里云提供的Redis服务,使用的单节点的模式。

3. 缓存对象

3.1. 公共数据

公共数据:用户数据、基础字典等配置信息。

数据类型:经过对现有公共接口数据结构的分析,基本都是以List集合的形式对外输出。

3.2. 独立微服务数据

指的是某个微服务自己使用的数据,如:报表的数据编辑实时填写缓存到Redis。

数据类型: String、List

4. 技术方案

4.1. 阿里云产品介绍

4.1.1. 规格介绍

序号

规格类型

描述

适用场景

1

标准版-单副本

标准版-单副本采用单个数据库节点部署架构

l 纯缓存类业务场景。

说明 对数据可靠性要求较高的敏感性业务,不建议使用单副本版。

l 对Redis协议兼容性要求较高的场景。

l 单个Redis性能压力可控的场景。

l Redis命令相对简单,排序和计算之类的命令较少的场景。

2

标准版-双副本

标准版-双副本采用主从(Replication)模式搭建。

l 对Redis协议兼容性要求较高的业务。

l Redis作为持久化数据存储使用的业务。

l 单个Redis性能压力可控的场景。

l Redis命令相对简单,排序和计算之类的命令较少的场景。

3

集群版-单副本

单副本集群版实例采用集群架构,每个分片服务器采用单副本模式。

l 数据量较大的场景。

l 纯缓存类业务场景。

说明 对数据可靠性要求较高的敏感性业务,不建议使用集群版-单副本。

l QPS压力较大的场景。

l 吞吐密集型应用场景。

l 对数据持久化无要求的缓存类型业务场景。

4

集群版-双副本

双副本集群版实例采用集群架构,每个分片服务器采用双副本模式。

l 数据量较大的场景。

l QPS压力较大的场景。

l 吞吐密集型应用场景。

5

读写分离实例

Redis读写分离版本由代理服务器(Proxy Servers)、主备(Master and Replica)节点及只读(Read-Only)节点组成。

l 读取请求QPS压力较大的场景。

l 对Redis协议兼容性要求较高的业务场景。

l Redis作为持久化数据存储使用的业务场景。



4.1.2. 规格性能


4.2. 服务器配置

目前,在阿里云上,由于各位服务对redis使用量较少,甚至有的服务中基本没有使用,所以当前的配置是1核1G


4.3. 三种架构模式

4.3.1. Redis主从

Redis主从模式是最简单的一种集群方案配置起来也比较简单,它的特点主要有:

l 一个master可以拥有多个slave;

l 多个slave链接同一个master,也可以链接其它slave;

l 主从复制不会阻塞master,在同步数据时,master可以继续处理client请求;

l slave 配置为slave-read-only on需要升级为主节点或者写入配置文件中, 而不能在默认slave情况下直接设置master与slave断开后会检测心跳, 重新建立连接;

l 可以直接copy DUMP文件重新重启master,在Master为空以后,slave同步数据会抹掉全部数据。

该方案缺点较多,往Master节点写数据,同时Master节点会异步写入slave节点中。这种方案目前使用的越来越少,不过对于个体开发并且对缓存依赖度不高的系统还是可以使用的,毕竟搭建和维护简单。

应用场景:可用于可穿透的业务场景,如后端有DB存储,脱机影响不大的应用。

4.3.2. Redis sentinel

鉴于4.1.1节描述的standalone类型的架构缺点较多,故在此模式基础上,增加sentinel哨兵,用于监控master/slave运行情况、调度Redis主从切换等。下图中对于sentinel使用了最小粒度的集群模式,最大限度地实现较小规模的高可用缓存。

应用场景:用于高可用需求场景,可用于高可用Cache,存储等场景。 内存/QPS受限于单机。

4.3.3. Redis Cluster

可直接采用官方给出的推荐方案,将node配置成主从结构。图下图所示为最小节点的Redis高并发、高可用集群。

应用场景:用于高可用需求场景,可用于大数据量高可用Cache/存储等场景。 内存/QPS不受限于单机,可受益于分布式集群高扩展性。

4.4. 数据存储格式

鉴于我们的微服务众多,为了规避key一样的情况发生。因此,需要约定下存储格式:服务名#业务分类名##key(调用的key)

公共接口数据key约定:服务器ID#user##key(调用的key);

独立微服务数据key约定:服务器ID#服务名##users##getUsersDetail(调用的key);

以上所有的“cs#user##”或“服务名#”开头的前缀,统一由公共接口实现,业务方使用时的入口为最后的key即可。

4.5. 可用API

接口:IRedisService

序号

接口定义

描述


1

boolean set(String key, Object value)

添加String类型的缓存数据


2

boolean set(String key, Object value, Long expireTime)

自定义有效时间的String类型缓存数据


3

Object get(String key)

读取String类型的缓存


4

void setHash(String key, Map<?,?> map)

哈希 添加Map


5

Object getHash(String key)

获取哈希数据


6

void setList(String key, Object value)

List列表添加


7

List<Object> getList(String key, long start, long end)

List列表获取

start 开始

end 结束 0 到 -1代表所有值

8

void addSet(String key, Object value)

Set集合添加


9

Set<Object> getSet(String key)

Set集合获取


10

void addZSet(String key, Object value, double scoure)

ZSet有序集合添加


11

Set<Object> getZSet(String key, double scoure, double scoure1)

ZSet有序集合获取


12

boolean expire(String key,long time)

指定某key的缓存有效时间


13

long getExpire(String key)

获取指定key的过期时间


14

void remove(String... keys)

删除一组或单个key的缓存数据


15

boolean exists(String key)

判断缓存中是否有对应的value



5. 运行保障

5.1. 监控指标

连接客户数

阻塞连接数

Redis占用内存

内存峰值

主从角色

master_link_status

执行命令总数和qps

上报时间

相关推荐

订单超时自动取消业务的 N 种实现方案,从原理到落地全解析

在分布式系统架构中,订单超时自动取消机制是保障业务一致性的关键组件。某电商平台曾因超时处理机制缺陷导致日均3000+订单库存锁定异常,直接损失超50万元/天。本文将从技术原理、实现细节、...

使用Spring Boot 3开发时,如何选择合适的分布式技术?

作为互联网大厂的后端开发人员,当你满怀期待地用上SpringBoot3,准备在项目中大显身手时,却发现一个棘手的问题摆在面前:面对众多分布式技术,究竟该如何选择,才能让SpringBoot...

数据库内存爆满怎么办?99%的程序员都踩过这个坑!

你的数据库是不是又双叒叕内存爆满了?!服务器监控一片红色警告,老板在群里@所有人,运维同事的电话打爆了手机...这种场景是不是特别熟悉?别慌!作为一个在数据库优化这条路上摸爬滚打了10年的老司机,今天...

springboot利用Redisson 实现缓存与数据库双写不一致问题

使用了Redisson来操作Redis分布式锁,主要功能是从缓存和数据库中获取商品信息,以下是针对并发时更新缓存和数据库带来不一致问题的解决方案1.基于读写锁和删除缓存策略在并发更新场景下,...

外贸独立站数据库炸了?对象缓存让你起死回生

上周黑五,一个客户眼睁睁看着服务器CPU飙到100%——每次页面加载要查87次数据库。这让我想起2024年Pantheon的测试:Redis缓存能把WooCommerce查询速度提升20倍。跨境电商最...

手把手教你在 Spring Boot3 里纯编码实现自定义分布式锁

为什么要自己实现分布式锁?你是不是早就受够了引入各种第三方依赖时的繁琐?尤其是分布式锁这块,每次集成Redisson或者Zookeeper,都得额外维护一堆配置,有时候还会因为版本兼容问题头疼半...

如何设计一个支持百万级实时数据推送的WebSocket集群架构?

面试解答:要设计一个支持百万级实时数据推送的WebSocket集群架构,需从**连接管理、负载均衡、水平扩展、容灾恢复**四个维度切入:连接层设计-**长连接优化**:采用Netty或Und...

Redis数据结构总结——面试最常问到的知识点

Redis作为主流的nosql存储,面试时经常会问到。其主要场景是用作缓存,分布式锁,分布式session,消息队列,发布订阅等等。其存储结构主要有String,List,Set,Hash,Sort...

skynet服务的缺陷 lua死循环

服务端高级架构—云风的skynet这边有一个关于云风skynet的视频推荐给大家观看点击就可以观看了!skynet是一套多人在线游戏的轻量级服务端框架,使用C+Lua开发。skynet的显著优点是,...

七年Java开发的一路辛酸史:分享面试京东、阿里、美团后的心得

前言我觉得有一个能够找一份大厂的offer的想法,这是很正常的,这并不是我们的饭后谈资而是每个技术人的追求。像阿里、腾讯、美团、字节跳动、京东等等的技术氛围与技术规范度还是要明显优于一些创业型公司...

mysql mogodb es redis数据库之间的区别

1.MySQL应用场景概念:关系型数据库,基于关系模型,使用表和行存储数据。优点:支持ACID事务,数据具有很高的一致性和完整性。缺点:垂直扩展能力有限,需要分库分表等方式扩展。对于复杂的查询和大量的...

redis,memcached,nginx网络组件

1.理解阻塞io,非阻塞io,同步io,异步io的区别2.理解BIO和AIO的区别io多路复用只负责io检测,不负责io操作阻塞io中的write,能写多少是多少,只要写成功就返回,譬如准备写500字...

SpringBoot+Vue+Redis实现验证码功能

一个小时只允许发三次验证码。一次验证码有效期二分钟。SpringBoot整合Redis...

AWS MemoryDB 可观测最佳实践

AWSMemoryDB介绍AmazonMemoryDB是一种完全托管的、内存中数据存储服务,专为需要极低延迟和高吞吐量的应用程序而设计。它与Redis和Memcached相似,但具有更...

从0构建大型AI推荐系统:实时化引擎从工具到生态的演进

在AI浪潮席卷各行各业的今天,推荐系统正从幕后走向前台,成为用户体验的核心驱动力。本文将带你深入探索一个大型AI推荐系统从零起步的全过程,揭示实时化引擎如何从单一工具演进为复杂生态的关键路径。无论你是...

取消回复欢迎 发表评论: