百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

「译」关系型数据库的工作原理

mhr18 2025-01-07 14:24 17 浏览 0 评论

一、前言

在进行高性能 Java 持久性培训时,我意识到有必要解释关系数据库的工作原理,否则,很难掌握许多与事务相关的概念,例如原子性、持久性和检查点。

在这篇文章中,我将对关系数据库的内部工作方式进行高层次的解释,同时还暗示一些特定于数据库的实现细节。

二、一图胜千文

二、Data pages

磁盘访问速度很慢。另一方面,内存甚至比固态硬盘还要快几个数量级。出于这个原因,数据库供应商试图尽可能延迟磁盘访问。无论我们谈论的是表还是索引,数据都被分成一定大小(例如 8 KB)的 page。

当需要读取数据(表或索引)时,关系数据库会将基于磁盘的页面映射到内存缓冲区。当需要修改数据时,关系数据库会更改内存 pages。要将内存 pages 与磁盘同步,必须进行 flush(例如 fsync)。

存储基于磁盘的 page 的缓冲池大小有限,因此通常需要存储数据工作集。只有当整个数据可以放入内存时,缓冲池才能存储整个数据集。

但是,如果需要缓存新 page 时磁盘上的总体数据大于缓冲池大小,则缓冲池将不得不逐出旧 pages 为新 pages 腾出空间。

三、Undo log

因为内存中的变化可以被多个并发事务访问,所以必须采用并发控制机制(例如 2PL 和 MVCC)来确保数据完整性。因此,一旦事务修改了表行,未提交的更改将应用于内存结构,而先前的数据会临时存储在 undo logappend-only 结构中。

虽然这种结构在 Oracle 和 MySQL 中称为 undo log,但在 SQL Server 中,事务日志起着这种作用。PostgreSQL 没有 undo log,但是通过多版本表结构达到了相同的目的,因为表可以存储同一行的多个版本。然而,所有这些数据结构都用于提供回滚能力,这是原子性的强制性要求。

如果当前运行的事务回滚,undo log 将用于重建事务开始时的内存 pages。

四、Redo log

一旦事务提交,内存中的更改必须保持不变。但是,这并不意味着每个事务提交都会触发fsync。事实上,这对应用程序性能非常不利。然而,从 ACID 事务属性,我们知道提交的事务必须提供持久性,这意味着即使我们拔掉数据库引擎,提交的更改也需要持久化。

那么,关系数据库如何提供持久性而不在每次事务提交时发出 fsync 呢?

这就是 redo log 发挥作用的地方。redo log 也是一种 append-only 基于磁盘的结构,用于存储给定事务所经历的每个更改。因此,当事务提交时,每个数据页更改也将写入redo log。与刷新固定数量的 data pages 相比,写入 redo log非常快,因为顺序磁盘访问比 Random access 快得多。因此,它还允许事务快速处理。

虽然这种结构在 Oracle 和 MySQL 中被称为 redo log,但在 SQL Server 中,事务日志也扮演着这个角色。PostgreSQL 将其称为预写日志 (WAL)。

但是,何时将内存中的更改 flush 到磁盘?

关系数据库系统使用检查点将内存中的脏 pages 与其基于磁盘的对应物同步。为避免 IO 流量拥塞,同步通常在较长的时间段内分块完成。

但是,如果关系数据库在将所有脏内存 pages 刷新到磁盘之前崩溃会发生什么?

万一发生崩溃,在启动时,数据库将使用 redo log 重建自上次成功检查点以来未同步的基于磁盘的 data pages。

五、结论

采用这些设计考虑是为了克服基于磁盘的存储的高延迟,同时仍然提供持久性存储保证。因此,需要 undo log 来提供原子性(回滚能力),而需要 redo log 来确保基于磁盘的 page(表和索引)的持久性。

六、译者说:

大家好,我是 如梦技术春哥mica 开源作者)翻译不易,请帮忙分享给更多的同学,谢谢!!!

相关推荐

Redis合集-使用benchmark性能测试

采用开源Redis的redis-benchmark工具进行压测,它是Redis官方的性能测试工具,可以有效地测试Redis服务的性能。本次测试使用Redis官方最新的代码进行编译,详情请参见Redis...

Java简历总被已读不回?面试挂到怀疑人生?这几点你可能真没做好

最近看了几十份简历,发现大部分人不是技术差,而是不会“卖自己”——一、简历死穴:你写的不是经验,是岗位说明书!反面教材:ד使用SpringBoot开发项目”ד负责用户模块功能实现”救命写法:...

redission YYDS(redission官网)

每天分享一个架构知识Redission是一个基于Redis的分布式Java锁框架,它提供了各种锁实现,包括可重入锁、公平锁、读写锁等。使用Redission可以方便地实现分布式锁。red...

从数据库行锁到分布式事务:电商库存防超卖的九重劫难与破局之道

2023年6月18日我们维护的电商平台在零点刚过3秒就遭遇了严重事故。监控大屏显示某爆款手机SKU_IPHONE13_PRO_MAX在库存仅剩500台时,订单系统却产生了1200笔有效订单。事故复盘发...

SpringBoot系列——实战11:接口幂等性的形而上思...

欢迎关注、点赞、收藏。幂等性不仅是一种技术需求,更是数字文明对确定性追求的体现。在充满不确定性的网络世界中,它为我们建立起可依赖的存在秩序,这或许正是技术哲学最深刻的价值所在。幂等性的本质困境在支付系...

如何优化系统架构设计缓解流量压力提升并发性能?Java实战分享

如何优化系统架构设计缓解流量压力提升并发性能?Java实战分享在高流量场景下。首先,我需要回忆一下常见的优化策略,比如负载均衡、缓存、数据库优化、微服务拆分这些。不过,可能还需要考虑用户的具体情况,比...

Java面试题: 项目开发中的有哪些成长?该如何回答

在Java面试中,当被问到“项目中的成长点”时,面试官不仅想了解你的技术能力,更希望看到你的问题解决能力、学习迭代意识以及对项目的深度思考。以下是回答的策略和示例,帮助你清晰、有说服力地展示成长点:一...

互联网大厂后端必看!Spring Boot 如何实现高并发抢券逻辑?

你有没有遇到过这样的情况?在电商大促时,系统上线了抢券活动,结果活动刚一开始,服务器就不堪重负,出现超卖、系统崩溃等问题。又或者用户疯狂点击抢券按钮,最后却被告知无券可抢,体验极差。作为互联网大厂的后...

每日一题 |10W QPS高并发限流方案设计(含真实代码)

面试场景还原面试官:“如果系统要承载10WQPS的高并发流量,你会如何设计限流方案?”你:“(稳住,我要从限流算法到分布式架构全盘分析)…”一、为什么需要限流?核心矛盾:系统资源(CPU/内存/数据...

Java面试题:服务雪崩如何解决?90%人栽了

服务雪崩是指微服务架构中,由于某个服务出现故障,导致故障在服务之间不断传递和扩散,最终造成整个系统崩溃的现象。以下是一些解决服务雪崩问题的常见方法:限流限制请求速率:通过限流算法(如令牌桶算法、漏桶算...

面试题官:高并发经验有吗,并发量多少,如何回复?

一、有实际高并发经验(建议结构)直接量化"在XX项目中,系统日活用户约XX万,核心接口峰值QPS达到XX,TPS处理能力为XX/秒。通过压力测试验证过XX并发线程下的稳定性。"技术方案...

瞬时流量高并发“保命指南”:这样做系统稳如泰山,老板跪求加薪

“系统崩了,用户骂了,年终奖飞了!”——这是多少程序员在瞬时大流量下的真实噩梦?双11秒杀、春运抢票、直播带货……每秒百万请求的冲击,你的代码扛得住吗?2025年了,为什么你的系统一遇高并发就“躺平”...

其实很多Java工程师不是能力不够,是没找到展示自己的正确姿势。

其实很多Java工程师不是能力不够,是没找到展示自己的正确姿势。比如上周有个小伙伴找我,五年经验但简历全是'参与系统设计''优化接口性能'这种空话。我就问他:你做的秒杀...

PHP技能评测(php等级考试)

公司出了一些自我评测的PHP题目,现将题目和答案记录于此,以方便记忆。1.魔术函数有哪些,分别在什么时候调用?__construct(),类的构造函数__destruct(),类的析构函数__cal...

你的简历在HR眼里是青铜还是王者?

你的简历在HR眼里是青铜还是王者?兄弟,简历投了100份没反应?面试总在第三轮被刷?别急着怀疑人生,你可能只是踩了这些"隐形求职雷"。帮3630+程序员改简历+面试指导和处理空窗期时间...

取消回复欢迎 发表评论: