一文搞透TPS、QPS、吞吐量等高性能指标
mhr18 2024-12-12 11:46 18 浏览 0 评论
高并发高性能是大型架构非常重要的技能，也是大厂重点考察对象，今天我就重点来详解高并发核心指标@mikechen
本篇已收于mikechen原创超30万字《阿里架构师进阶专题合集》里面。
响应时间（Response Time）
响应时间：是指从发送请求到收到响应所花费的时间，通常以毫秒（ms）为单位。
假设：你正在访问一个在线购物网站，并且你点击了一个产品页面上的“加入购物车”按钮。
从服务器接收到请求后，需要处理这个请求，这个过程就会涉及到响应时间。
比如：
- 验证用户身份和权限（10毫秒）；
- 查询数据库，检查库存并更新购物车信息（30毫秒）；
- 生成响应数据（20毫秒）；
服务器总处理时间：10 + 30 + 20 = 60毫秒，这个60ms就是响应时间。
如何来提升响应时间呢？
比如，可以通过：优化代码、数据库索引、缓存机制...等方法来提升查询速度。
吞吐量（Throughput）
吞吐量：是指系统在单位时间内处理的请求数量、或传输的数据量总和。
比如：成都双流国际机场，年旅客吞吐量达5000万人次，这里的吞吐量可以拆分为：
- 系统：成都双流国际机场；
- 单位时间：一年（年）；
- 完成的数量：5000万人次，一年5000万可以衡量性能指标。
在这个例子中，我们可以将吞吐量，解释为机场在一年内处理的旅客“总人数”，这是衡量机场处理能力的一个关键指标。
同理，Web服务器也可以按照时间来统计访问次数，吞吐量越高，系统的处理能力越强。
每秒查询率QPS（Query Per Second）
QPS：表示系统每秒处理的查询请求数量，通常用于数据库、和搜索引擎的性能评估。
QPS计算：QPS = 总查询量 / 单位时间。
举一个例子：我们有一个搜索引擎，它需要处理来自全球用户的大量搜索查询。
数据假设为：高峰时段总查询量：3,600,000个查询，高峰时段持续时间：1小时（3600秒）。
那实际的QPS计算，QPS = 3,600,000个查询 / 3600秒 = 1000 QPS。
这里的QPS是1000，这意味着每秒钟需要处理：1000个查询请求，这里的1000pqs就是衡量系统的一个非常重要的指标。
如果你想提升QPS，你就会涉及到：优化索引、使用缓存机制、分片数据库（Sharding）、优化查询语句......等等方式。
并发用户数(Concurrent Users)
并发用户数：是指在同一时间段内同时使用系统的用户数量，可以反映系统在高负载情况下的表现、和稳定性，是系统扩展性的重要指标。
还是举一个例子：阿里双11秒杀，同时出现100万人在抢购商品，这里的并发用户数就是：100万人。
高并发情况下，如果系统处理能力不足，用户可能会遇到响应缓慢、页面加载失败等问题，严重影响用户体验。
所以，并发用户数越高，对整个服务器，以及架构的要求就会越高。
越高的情况，就会考虑架构、或者技术的升级来应对高并发量了，比如：
负载均衡：用负载均衡器（如：LVS、NGINX、HAProxy....），将用户请求分散到更多多台服务器上；
垂直扩展：增加单台服务器的硬件配置，如：增加CPU、内存......等，提高单台服务器的处理能力;
水平扩展：增加服务器数量，通过集群、和分布式架构扩展系统处理能力；
缓存优化：使用CDN缓存静态内容，使用内存缓存（如Redis），减少数据库查询压力。
数据库优化：通过分库分表、读写分离、索引优化等手段，提高数据库的并发处理能力。
这些都是常见的优化手段，可以更好的提升性能。
本篇已收于mikechen原创超30万字《阿里架构师进阶专题合集》里面。
相关推荐
- C++开发必知的内存问题及常用的解决方法-经典文章
-
1.内存管理功能问题由于C++语言对内存有主动控制权，内存使用灵活和效率高，但代价是不小心使用就会导致以下内存错误：omemoryoverrun：写内存越界odoublefree：同一块内...
- 缓存用不好，系统崩得早!10条军规让你成为缓存高手
-
凌晨三点，我被电话惊醒：“苏工！首页崩了！”监控显示：缓存命中率0%，数据库QPS10万+，线程阻塞2000+。根本原因竟是同事没加缓存！不会用缓存的程序员，就像不会刹车的赛车手——...
- 彻底搞清楚内存泄漏的原因，如何避免内存泄漏，如何定位内存泄漏
-
作为C/C++开发人员，内存泄漏是最容易遇到的问题之一，这是由C/C++语言的特性引起的。C/C++语言与其他语言不同，需要开发者去申请和释放内存，即需要开发者去管理内存，如果内存使用不当，就容易造成...
- Java中间件-Memcached（Java中间件大全）
-
一、知识结构及面试题目分析缓存技术的大规模使用是互联网架构区别于传统IT技术最大的地方，是整体高并发高性能架构设计中是重中之重的关键一笔，也是互联网公司比较偏好的面试题目。按照在软件系统中所处位置...
- linux内存碎片防治技术（linux内存碎片整理）
-
推荐视频：90分钟了解Linux内存架构，numa的优势，slab的实现，vmalloc原理剖析Linux内核内存分配与回收Linuxkernel组织管理物理内存的方式是buddysystem（伙...
- Redis主从架构详解（redis主从配置详细过程）
-
Redis主从架构搭建Redis主节点配置创建主节点目录（/opt/redis-master），复制redis.conf到该目录下，redis.conf配置项修改#后台启动daemonizeyes...
- 揭开CXL内存的神秘面纱（内存c1）
-
摘要：现代数据中心对内存容量的高需求促进了内存扩展和分解方面的多条创新线，其中一项获得极大关注的工作是基于ComputeeXpressLink（CXL）的内存扩展。为了更好地利用CXL，研究人员建...
- 一文彻底弄懂 TPS RPS QPS（tps cps）
-
以下是关于RPS、QPS、TPS的核心区别与关联的总结，结合实际场景和优化建议：一、核心定义与区别RPS：RequestsPerSecond每秒请求数客户端到服务器的完整请求数量Web服务...
- 用Redis的“集合”找出你和朋友的“共同关注”
-
你是不是在刷抖音、微博、小红书的时候，常常会看到这样的提示：“你和XXX有共同关注的博主/朋友”？或者当你关注了一个新的明星，系统会推荐“你的朋友YYY也关注了这位明星”？这个看似简单的功能背后，其实...
- WOT2016彭哲夫:科班出身开发者对运维人员的期许
-
“运维与开发”是老生常谈的话题，前几天和一个运维人聊天，TA说一些公司运维岗位都不公开招聘了，这让众多运维人员情何以堪？是运维的岗位真的饱和了？是找到合适的运维人才难？还是有这样那样的因素？带着这些疑...
- Java程序员最常用的20%技术总结（java程序员要掌握什么）
-
我听说编程语言，经常使用的是其中20％的技术。在Java这门语言中，这20％包括哪些内容？找到一份Java初级程序员的工作，有哪些是必须掌握的，有哪些是可以现学现卖的？一个完整的Javaweb项目，有...
- 秒杀系统实战(四)| 缓存与数据库双写一致性实战
-
前言微笑挖坑，努力填坑。————已经拥有黑眼圈，但还没学会小猪老师时间管理学的蛮三刀同学本文是秒杀系统的第四篇，我们来讨论秒杀系统中「缓存热点数据」的问题，进一步延伸到数据库和缓存的...
- 头条评论精灵翻牌子（头条评论精灵翻牌子怎么弄）
-
关于“头条评论精灵翻牌子”功能，这通常是指平台通过算法或运营手段，将用户的优质评论随机或定向推送到更显眼的位置（如信息流顶部、独立曝光位等），以提升互动率和用户参与感。以下是详细解析和建议：一、功能理...
- 15个程序员们都应该知道的大模型高级提示词指令模板和示例
-
作为程序员你如何写大模型指令？你写的指令是不是更专业呢？下面是15个程序员使用的专业的大模型指令，如果早知道可以能节省你很多时间。这些指令可以用在chatgpt,deepseek等大模型。1.一键...
- MyBatis-Plus内置的主键生成策略有大坑，要注意!
-
昨天小伙伴使用Mybaits-Plus开发的项目线上（集群、K8S）出现了主键重复问题，其报错如下：Mybatis-Plus启动时会通过com.baomidou.mybatisplus.core.to...
欢迎 你 发表评论:
- 一周热门
-
-
Redis客户端 Jedis 与 Lettuce
-
高并发架构系列:Redis并发竞争key的解决方案详解
-
redis如何防止并发（redis如何防止高并发）
-
开源推荐:如何实现的一个高性能 Redis 服务器
-
redis安装与调优部署文档(WinServer)
-
Redis 入门 - 安装最全讲解(Windows、Linux、Docker)
-
一文带你了解 Redis 的发布与订阅的底层原理
-
Redis如何应对并发访问（redis控制并发量）
-
oracle数据库查询Sql语句是否使用索引及常见的索引失效的情况
-
Java SE Development Kit 8u441下载地址【windows版本】
-
- 最近发表
- 标签列表
-
- oracle位图索引 (63)
- oracle批量插入数据 (62)
- oracle事务隔离级别 (53)
- oracle 空为0 (50)
- oracle主从同步 (55)
- oracle 乐观锁 (51)
- redis 命令 (78)
- php redis (88)
- redis 存储 (66)
- redis 锁 (69)
- 启动 redis (66)
- redis 时间 (56)
- redis 删除 (67)
- redis内存 (57)
- redis并发 (52)
- redis 主从 (69)
- redis 订阅 (51)
- redis 登录 (54)
- redis 面试 (58)
- 阿里 redis (59)
- redis 搭建 (53)
- redis的缓存 (55)
- lua redis (58)
- redis 连接池 (61)
- redis 限流 (51)