Redis 不是一直号称单线程效率也很高吗,为什么又采用多线程了?
mhr18 2024-12-03 11:59 15 浏览 0 评论
Redis 是目前广为人知的一个内存数据库,在各个场景中都有着非常丰富的应用,前段时间 Redis 推出了 6.0 的版本,在新版本中采用了多线程模型。
因为我们公司使用的内存数据库是自研的,按理说我对 Redis 的关注其实并不算多,但是因为 Redis 用的比较广泛,所以我需要了解一下这样方便我进行面试。
总不能候选人用过 Redis,但是我非要问人家阿里的 Tair 是怎么回事吧。
所以,在 Redis 6.0 推出之后,我想去了解下为什么采用多线程,现在采用的多线程和以前版本有什么区别?为什么这么晚才使用多线程?
Redis 不是已经采用了多路复用技术吗?不是号称很高的性能了吗?为啥还要采用多线程模型呢?
本文就来分析下这些问题以及背后的思考。
Redis 为什么最开始被设计成单线程的?
Redis 作为一个成熟的分布式缓存框架,它由很多个模块组成,如网络请求模块、索引模块、存储模块、高可用集群支撑模块、数据操作模块等。
很多人说 Redis 是单线程的,就认为 Redis 中所有模块的操作都是单线程的,其实这是不对的。
我们所说的 Redis 单线程,指的是 "其网络 IO 和键值对读写是由一个线程完成的"。
也就是说,Redis 中只有网络请求模块和数据操作模块是单线程的。而其他的如持久化存储模块、集群支撑模块等是多线程的。
所以说,Redis 中并不是没有多线程模型的,早在 Redis 4.0 的时候就已经针对部分命令做了多线程化。
那么,为什么网络操作模块和数据存储模块最初并没有使用多线程呢?
这个问题的答案比较简单!因为:"没必要!"
为什么没必要呢?我们先来说一下,什么情况下要使用多线程?
多线程适用场景
一个计算机程序在执行的过程中,主要需要进行两种操作分别是读写操作和计算操作。
其中读写操作主要是涉及到的就是 I/O 操作,其中包括网络 I/O 和磁盘 I/O。计算操作主要涉及到 CPU。
而多线程的目的,就是通过并发的方式来提升 I/O 的利用率和 CPU 的利用率。
那么,Redis 需不需要通过多线程的方式来提升提升 I/O 的利用率和 CPU 的利用率呢?
首先,我们可以肯定的说,Redis 不需要提升 CPU 利用率,因为 Redis 的操作基本都是基于内存的,CPU 资源根本就不是 Redis 的性能瓶颈。
所以,通过多线程技术来提升 Redis 的 CPU 利用率这一点是完全没必要的。
那么,使用多线程技术来提升 Redis 的 I/O 利用率呢?是不是有必要呢?
Redis 确实是一个 I/O 操作密集的框架,他的数据操作过程中,会有大量的网络 I/O 和磁盘 I/O 的发生。要想提升 Redis 的性能,是一定要提升 Redis 的 I/O 利用率的,这一点毋庸置疑。
但是,提升 I/O 利用率,并不是只有采用多线程技术这一条路可以走!
多线程的弊端
我们在很多文章中介绍过一些 Java 中的多线程技术;
如内存模型、锁、CAS 等,这些都是 Java 中提供的一些在多线程情况下保证线程安全的技术。
线程安全:是编程中的术语,指某个函数、函数库在并发环境中被调用时,能够正确地处理多个线程之间的共享变量,使程序功能正确完成。
和 Java 类似,所有支持多线程的编程语言或者框架,都不得不面对的一个问题,那就是如何解决多线程编程模式带来的共享资源的并发控制问题。
虽然,采用多线程可以帮助我们提升 CPU 和 I/O 的利用率,但是多线程带来的并发问题也给这些语言和框架带来了更多的复杂性。
而且,多线程模型中,多个线程的互相切换也会带来一定的性能开销。
所以,在提升 I/O 利用率这个方面上,Redis 并没有采用多线程技术,而是选择了多路复用 I/O 技术。
小结
Redis 并没有在网络请求模块和数据操作模块中使用多线程模型,主要是基于以下四个原因:
- 1、Redis 操作基于内存,绝大多数操作的性能瓶颈不在 CPU
- 2、使用单线程模型,可维护性更高,开发,调试和维护的成本更低
- 3、单线程模型,避免了线程间切换带来的性能开销
- 4、在单线程中使用多路复用 I/O 技术也能提升 Redis 的 I/O 利用率
还是要记住:Redis 并不是完全单线程的,只是有关键的网络 IO 和键值对读写是由一个线程完成的。
Redis 的多路复用
多路复用这个词,相信很多人都不陌生。我之前的很多文章中也够提到过这个词。
其中在介绍 Linux IO 模型的时候我们提到过它、在介绍 HTTP/2 的原理的时候,我们也提到过他。
那么,Redis 的多路复用技术和我们之前介绍的又有什么区别呢?
这里先讲讲 Linux 多路复用技术,就是多个进程的 IO 可以注册到同一个管道上,这个管道会统一和内核进行交互。
当管道中的某一个请求需要的数据准备好之后,进程再把对应的数据拷贝到用户空间中。
多看一遍上面这张图和上面那句话,后面可能还会用得到。
也就是说,通过一个线程来处理多个 IO 流。
IO 多路复用在 Linux 下包括了三种,select、poll、epoll,抽象来看,他们功能是类似的,但具体细节各有不同。
其实,Redis 的 IO 多路复用程序的所有功能都是通过包装操作系统的 IO 多路复用函数库来实现的。
每个 IO 多路复用函数库在 Redis 源码中都有对应的一个单独的文件。
在 Redis 中,每当一个套接字准备好执行连接应答、写入、读取、关闭等操作时,就会产生一个文件事件。
因为一个服务器通常会连接多个套接字,所以多个文件事件有可能会并发地出现。
一旦有请求到达,就会交给 Redis 线程处理,这就实现了一个 Redis 线程处理多个 IO 流的效果。
所以,Redis 选择使用多路复用 IO 技术来提升 I/O 利用率。
而之所以 Redis 能够有这么高的性能,不仅仅和采用多路复用技术和单线程有关,此外还有以下几个原因:
- 完全基于内存,绝大部分请求是纯粹的内存操作,非常快速。
- 数据结构简单,对数据操作也简单,如哈希表、跳表都有很高的性能。
- 采用单线程,避免了不必要的上下文切换和竞争条件,也不存在多进程或者多线程导致的切换而消耗 CPU
- 使用多路 I/O 复用模型
为什么 Redis 6.0 引入多线程
2020 年 5 月份,Redis 正式推出了 6.0 版本,这个版本中有很多重要的新特性,其中多线程特性引起了广泛关注。
但是,需要提醒大家的是,Redis 6.0 中的多线程,也只是针对处理网络请求过程采用了多线程,而数据的读写命令,仍然是单线程处理的。
但是,不知道会不会有人有这样的疑问:
Redis 不是号称单线程也有很高的性能么?
不是说多路复用技术已经大大的提升了 IO 利用率了么,为啥还需要多线程?
主要是因为我们对 Redis 有着更高的要求。
根据测算,Redis 将所有数据放在内存中,内存的响应时长大约为 100 纳秒,对于小数据包,Redis 服务器可以处理 80,000 到 100,000 QPS,这么高的对于 80% 的公司来说,单线程的 Redis 已经足够使用了。
但随着越来越复杂的业务场景,有些公司动不动就上亿的交易量,因此需要更大的 QPS。
为了提升 QPS,很多公司的做法是部署 Redis 集群,并且尽可能提升 Redis 机器数。
但是这种做法的资源消耗是巨大的。
而经过分析,限制 Redis 的性能的主要瓶颈出现在网络 IO 的处理上,虽然之前采用了多路复用技术。
但是我们前面也提到过,多路复用的 IO 模型本质上仍然是同步阻塞型 IO 模型。
下面是多路复用 IO 中 select 函数的处理过程:
从上图我们可以看到,在多路复用的 IO 模型中,在处理网络请求时,调用 select (其他函数同理)的过程是阻塞的,也就是说这个过程会阻塞线程,如果并发量很高,此处可能会成为瓶颈。
虽然现在很多服务器都是多个 CPU 核的,但是对于 Redis 来说,因为使用了单线程,在一次数据操作的过程中,有大量的 CPU 时间片是耗费在了网络 IO 的同步处理上的,并没有充分的发挥出多核的优势。
如果能采用多线程,使得网络处理的请求并发进行,就可以大大的提升性能。多线程除了可以减少由于网络 I/O 等待造成的影响,还可以充分利用 CPU 的多核优势。
所以,Redis 6.0 采用多个 IO 线程来处理网络请求,网络请求的解析可以由其他线程完成,然后把解析后的请求交由主线程进行实际的内存读写。
提升网络请求处理的并行度,进而提升整体性能。
但是,Redis 的多 IO 线程只是用来处理网络请求的,对于读写命令,Redis 仍然使用单线程来处理。
那么,在引入多线程之后,如何解决并发带来的线程安全问题呢?
这就是为什么我们前面多次提到的 "Redis 6.0 的多线程只用来处理网络请求,而数据的读写还是单线程" 的原因。
Redis 6.0 只有在网络请求的接收和解析,以及请求后的数据通过网络返回给时,使用了多线程。而数据读写操作还是由单线程来完成的,所以,这样就不会出现并发问题了。
参考资料:
https://www.cnblogs.com/Zzbj/p/13531622.html
https://xie.infoq.cn/article/b3816e9fe3ac77684b4f29348
https://jishuin.proginn.com/p/763bfbd2a1c2
《极客时间:Redis 核心技术与实战》
注:本文转自一位阿里技术专家。感觉写的很好,分享一下旨在帮助自己的同时让更多人能了解一下。如有侵权联系我删除。谢谢![呲牙]
相关推荐
- 【推荐】一个开源免费、AI 驱动的智能数据管理系统,支持多数据库
-
如果您对源码&技术感兴趣,请点赞+收藏+转发+关注,大家的支持是我分享最大的动力!!!.前言在当今数据驱动的时代,高效、智能地管理数据已成为企业和个人不可或缺的能力。为了满足这一需求,我们推出了这款开...
- Pure Storage推出统一数据管理云平台及新闪存阵列
-
PureStorage公司今日推出企业数据云(EnterpriseDataCloud),称其为组织在混合环境中存储、管理和使用数据方式的全面架构升级。该公司表示,EDC使组织能够在本地、云端和混...
- 对Java学习的10条建议(对java课程的建议)
-
不少Java的初学者一开始都是信心满满准备迎接挑战,但是经过一段时间的学习之后,多少都会碰到各种挫败,以下北风网就总结一些对于初学者非常有用的建议,希望能够给他们解决现实中的问题。Java编程的准备:...
- SQLShift 重大更新:Oracle→PostgreSQL 存储过程转换功能上线!
-
官网:https://sqlshift.cn/6月,SQLShift迎来重大版本更新!作为国内首个支持Oracle->OceanBase存储过程智能转换的工具,SQLShift在过去一...
- JDK21有没有什么稳定、简单又强势的特性?
-
佳未阿里云开发者2025年03月05日08:30浙江阿里妹导读这篇文章主要介绍了Java虚拟线程的发展及其在AJDK中的实现和优化。阅前声明:本文介绍的内容基于AJDK21.0.5[1]以及以上...
- 「松勤软件测试」网站总出现404 bug?总结8个原因,不信解决不了
-
在进行网站测试的时候,有没有碰到过网站崩溃,打不开,出现404错误等各种现象,如果你碰到了,那么恭喜你,你的网站出问题了,是什么原因导致网站出问题呢,根据松勤软件测试的总结如下:01数据库中的表空间不...
- Java面试题及答案最全总结(2025版)
-
大家好,我是Java面试陪考员最近很多小伙伴在忙着找工作,给大家整理了一份非常全面的Java面试题及答案。涉及的内容非常全面,包含:Spring、MySQL、JVM、Redis、Linux、Sprin...
- 数据库日常运维工作内容(数据库日常运维 工作内容)
-
#数据库日常运维工作包括哪些内容?#数据库日常运维工作是一个涵盖多个层面的综合性任务,以下是详细的分类和内容说明:一、数据库运维核心工作监控与告警性能监控:实时监控CPU、内存、I/O、连接数、锁等待...
- 分布式之系统底层原理(上)(底层分布式技术)
-
作者:allanpan,腾讯IEG高级后台工程师导言分布式事务是分布式系统必不可少的组成部分,基本上只要实现一个分布式系统就逃不开对分布式事务的支持。本文从分布式事务这个概念切入,尝试对分布式事务...
- oracle 死锁了怎么办?kill 进程 直接上干货
-
1、查看死锁是否存在selectusername,lockwait,status,machine,programfromv$sessionwheresidin(selectsession...
- SpringBoot 各种分页查询方式详解(全网最全)
-
一、分页查询基础概念与原理1.1什么是分页查询分页查询是指将大量数据分割成多个小块(页)进行展示的技术,它是现代Web应用中必不可少的功能。想象一下你去图书馆找书,如果所有书都堆在一张桌子上,你很难...
- 《战场兄弟》全事件攻略 一般事件合同事件红装及隐藏职业攻略
-
《战场兄弟》全事件攻略,一般事件合同事件红装及隐藏职业攻略。《战场兄弟》事件奖励,事件条件。《战场兄弟》是OverhypeStudios制作发行的一款由xcom和桌游为灵感来源,以中世纪、低魔奇幻为...
- LoadRunner(loadrunner录制不到脚本)
-
一、核心组件与工作流程LoadRunner性能测试工具-并发测试-正版软件下载-使用教程-价格-官方代理商的架构围绕三大核心组件构建,形成完整测试闭环:VirtualUserGenerator(...
- Redis数据类型介绍(redis 数据类型)
-
介绍Redis支持五种数据类型:String(字符串),Hash(哈希),List(列表),Set(集合)及Zset(sortedset:有序集合)。1、字符串类型概述1.1、数据类型Redis支持...
- RMAN备份监控及优化总结(rman备份原理)
-
今天主要介绍一下如何对RMAN备份监控及优化,这里就不讲rman备份的一些原理了,仅供参考。一、监控RMAN备份1、确定备份源与备份设备的最大速度从磁盘读的速度和磁带写的带度、备份的速度不可能超出这两...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- oracle位图索引 (63)
- oracle批量插入数据 (62)
- oracle事务隔离级别 (53)
- oracle 空为0 (50)
- oracle主从同步 (55)
- oracle 乐观锁 (51)
- redis 命令 (78)
- php redis (88)
- redis 存储 (66)
- redis 锁 (69)
- 启动 redis (66)
- redis 时间 (56)
- redis 删除 (67)
- redis内存 (57)
- redis并发 (52)
- redis 主从 (69)
- redis 订阅 (51)
- redis 登录 (54)
- redis 面试 (58)
- 阿里 redis (59)
- redis 搭建 (53)
- redis的缓存 (55)
- lua redis (58)
- redis 连接池 (61)
- redis 限流 (51)