PostgreSQL事务篇—— 事务与多版本并发控制MVCC
mhr18 2024-12-27 16:19 20 浏览 0 评论
?、 MVCC常?实现?法
?般MVCC有2种实现?法:
- 写新数据时,把旧数据快照存?其他位置(如oracle的回滚段、sqlserver的tempdb)。当读数据时,读的是快照的旧数据。
- 写新数据时,旧数据不删除,直接插?新数据。PostgreSQL就是使?的这种实现?法。
1. PostgreSQL的MVCC实现?式优缺点
优点
- ?论事务进?了多少操作,事务回滚可以?即完成
- 数据可以进?很多更新,不必像Oracle和MySQL的Innodb引擎需要保证回滚段不会被?完,也不会经常遇到“ORA-1555”错误的困扰
缺点
- 旧版本的数据需要清理。当然,PostgreSQL 9.x版本中已经增加了?动清理的辅助进程来定期清理
- 旧版本的数据可能会导致查询需要扫描的数据块增多,从?导致查询变慢
2. PostgreSQL中MVCC的实现思路
为了实现MVCC机制,必须要:
- 定义多版本的数据——使?元组头部信息的字段来标?元组的版本号
- 定义数据的有效性、可?性、可更新性——通过当前的事务快照和对应元组的版本号判断
- 实现不同的数据库隔离级别——通过在不同时机获取快照实现
?、 基本概念
1. 事务标识
当事务开始(执?begin第?条命令时),事务管理器会为该事务分配?个txid(transaction id)作为唯?标识符。txid是?个32位?符号整数,取值空间??约42亿(2^32-1)。
txid可通过txid_current()函数获取
三个特殊的txid
0:InvalidTransactionId,表??效的事务ID
1:BootstrapTransactionId,表?系统表初始化时的事务ID,?任何普通的事务ID都旧。
2:FrozenTransactionId,冻结的事务ID,?任何普通的事务ID都旧。
?于2的事务ID都是普通的事务ID。
事务间的可?性
txid间可以相互?较??,任何事务只可?txid<其??txid的事务修改结果。但txid并不是?限的,当42亿数据?尽之后?应该如何判断可?性?
2. 元组结构
pg中元组由三部分组成——元组头结点、空值位图、?户数据。
其中与MVCC相关的重要信息为:
t_xmin:保存插?该元组的事务txid(该元组由哪个事务插?)
t_xmax:保存更新或删除该元组的事务txid。若该元组尚未被删除或更新,则
t_xmax=0,即invalid
t_cid:保存命令标识(command id,cid),指在该事务中,执?当前命令之前还执?过?条sql命令(从0开始计算)
t_ctid:?个指针,保存指向??或新元组的元组的标识符(tid)。
当更新该元组时,t_ctid会指向新版本元组。若元组被更新多次,则该元组会存在多个版本,各版本通过t_cid串联,形成?个版本链。通过这个版本链,可以找到最新的版本。
t_ctid是?个?元组(?号,?内偏移量),其中?号从0开始,?内偏移量从1开始。
三、 元组的增、删、改
1. 插?
插?操作最简单,直接将新元组插??标表中??即可
插?操作的过程和结果分析:
- t_xmin 被设置为99,表?插?该元组的txid
- t_xmax 被设置为0,因为该元组还未被更新或删除过
- t_cid 被设置为0,因为这是该事务的第?条命令
- t_ctid 指向??,被设置为(0,1),表?该元组位于0号page的第1个位置上
2. 删除
pg的删除只是将?标元组在逻辑上标为删除(将t_xmax设为执?delete命令的事务txid),实际该元组依然存在于数据库的存储??,直?该元组被清理进程清理掉。
删除操作的过程和结果分析:
- t_xmin 不变,表?插?该元组的txid
- t_xmax 被设置为111,即删除该元组的txid
- t_cid 被设置为0,因为这是该事务的第?条命令
- t_ctid 指向??,被设置为(0,1),表?该元组位于0号page的第1个位置上
当txid=111的事务提交时,tuple_1就不再需要了,称为dead tuple。但是这个tuple依然残留在??上, 随着数据库的运?,这种死元组越来越多,它们会在VACUUM时最终被清理掉。
3. 更新
pg不会直接修改数据,?是将?标元组标记为删除,并插??条新元组,同时修改t_ctid执?新版本元组。
更新操作的过程和结果分析
?先看第?条update:
Tuple_1
- t_xmin 不变,表?插?该元组的txid
- t_xmax 被设置为100,即删除该元组的txid
- t_cid 被设置为0,因为这是该事务的第?条命令
- t_ctid 指向新版本元组,被设置为(0,2),表?新元组位于0号page的第2个位置上
Tuple_2
- t_xmin 被设置为100,表?插?该元组的txid
- t_xmax 被设置为0,因为该元组还未被更新或删除过
- t_cid 被设置为0,因为这是该事务的第?条命令(虽然?删?增,实际都是?条update操作的)
- t_ctid 指向??,被设置为(0,2),表?该元组位于0号page的第2个位置上
再看第?条update:
Tuple_2
- t_xmin 不变,表?插?该元组的txid
- t_xmax 被设置为100,即删除该元组的txid
- t_cid 被设置为1,因为这是该事务的第?条命令
- t_ctid 指向新版本元组,被设置为(0,3),表?新元组位于0号page的第3个位置上
Tuple_3
- t_xmin 被设置为100,表?插?该元组的txid
- t_xmax 被设置为0,因为该元组还未被更新或删除过
- t_cid 被设置为1,因为这是该事务的第?条命令
- t_ctid 指向??,被设置为(0,3),表?该元组位于0号page的第3个位置上
四、 提交?志
pg在提交?志(commit log,CLOG)中保存事务的状态
1. 事务状态
pg定义了四种事务状态——IN_PROGRESS, COMMITTED, ABORTED和SUB_COMMITTED,其中SUB_COMMITTED状态?于?事务,此处不讨论。
四种事务状态仅需两个bit即可记录。以?个块8KB为例,可以存储8KB*8/2 = 32K个事务的状态。内存中缓存CLOG的buffer ??为Min(128,Max(4,NBuffers/512))。
2. ?作原理
CLOG在逻辑上是?个数组,由共享内存中?系列8K??组成。数组下标对应事务txid,数组内容则为事务状态:
- T1时刻:txid=200事务提交,对应状态从IN_PROGRESS改为COMMITED
- T2时刻:txid=201事务回滚,对应状态从IN_PROGRESS改为ABORTED
当需要获取事务状态时,pg调?内部函数读取CLOG返回所请求事务状态.
?
3. CLOG的维护
当shutdown pg或Checkpoint运?时,CLOG数据会由内存写?pg_clog(pg 10后叫pg_xact)?录中的?件。这些?件被命名为0000,0001,最?256KB。当pg启动时,会加载这些?件?于初始化CLOG。
CLOG数据会不断增?,但并?所有数据都是必要的,清理过程也会定期清理掉不再需要的CLOG??和?件。
相关推荐
- Java培训机构,你选对了吗?(java培训机构官网)
-
如今IT行业发展迅速,不仅是大学生,甚至有些在职的员工都想学习java开发,需求量的扩大,薪资必定增长,这也是更多人选择java开发的主要原因。不过对于没有基础的学员来说,java技术不是一两天就能...
- 产品经理MacBook软件清单-20个实用软件
-
三年前开始使用MacBookPro,从此再也不想用Windows电脑了,作为生产工具,MacBook可以说是非常胜任。作为产品经理,值得拥有一台MacBook。MacBook是工作平台,要发挥更大作...
- RAD Studio(Delphi) 本月隆重推出新的版本12.3
-
#在头条记录我的2025#自2024年9月,推出Delphi12.2版本后,本月隆重推出新的版本12.3,RADStudio12.3,包含了Delphi12.3和C++builder12.3最...
- 图解Java垃圾回收机制,写得非常好
-
什么是自动垃圾回收?自动垃圾回收是一种在堆内存中找出哪些对象在被使用,还有哪些对象没被使用,并且将后者删掉的机制。所谓使用中的对象(已引用对象),指的是程序中有指针指向的对象;而未使用中的对象(未引用...
- Centos7 初始化硬盘分区、挂载(针对2T以上)添加磁盘到卷
-
1、通过命令fdisk-l查看硬盘信息:#fdisk-l,发现硬盘为/dev/sdb大小4T。2、如果此硬盘以前有过分区,则先对磁盘格式化。命令:mkfs.文件系统格式-f/dev/sdb...
- 半虚拟化如何提高服务器性能(虚拟化 半虚拟化)
-
半虚拟化是一种重新编译客户机操作系统(OS)将其安装在虚拟机(VM)上的一种虚拟化类型,并在主机操作系统(OS)运行的管理程序上运行。与传统的完全虚拟化相比,半虚拟化可以减少开销,并提高系统性能。虚...
- HashMap底层实现原理以及线程安全实现
-
HashMap底层实现原理数据结构:HashMap的底层实现原理主要依赖于数组+链表+红黑树的结构。1、数组:HashMap最底层是一个数组,称为table,它存放着键值对。2、链...
- long和double类型操作的非原子性探究
-
前言“深入java虚拟机”中提到,int等不大于32位的基本类型的操作都是原子操作,但是某些jvm对long和double类型的操作并不是原子操作,这样就会造成错误数据的出现。其实这里的某些jvm是指...
- 数据库DELETE 语句,还保存原有的磁盘空间
-
MySQL和Oracle的DELETE语句与数据存储MySQL的DELETE操作当你在MySQL中执行DELETE语句时:逻辑删除:数据从表中标记为删除,不再可见于查询结果物理...
- 线程池—ThreadPoolExecutor详解(线程池实战)
-
一、ThreadPoolExecutor简介在juc-executors框架概述的章节中,我们已经简要介绍过ThreadPoolExecutor了,通过Executors工厂,用户可以创建自己需要的执...
- navicat如何使用orcale(详细步骤)
-
前言:看过我昨天文章的同鞋都知道最近接手另一个国企项目,数据库用的是orcale。实话实说,也有快三年没用过orcale数据库了。这期间问题不断,因为orcale日渐消沉,网上资料也是真真假假,难辨虚...
- 你的程序是不是慢吞吞?GraalVM来帮你飞起来性能提升秘籍大公开
-
各位IT圈内外的朋友们,大家好!我是你们的老朋友,头条上的IT技术博主。不知道你们有没有这样的经历:打开一个软件,半天没反应;点开一个网站,图片刷不出来;或者玩个游戏,卡顿得想砸电脑?是不是特别上火?...
- 大数据正当时,理解这几个术语很重要
-
目前,大数据的流行程度远超于我们的想象,无论是在云计算、物联网还是在人工智能领域都离不开大数据的支撑。那么大数据领域里有哪些基本概念或技术术语呢?今天我们就来聊聊那些避不开的大数据技术术语,梳理并...
- 秒懂列式数据库和行式数据库(列式数据库的特点)
-
行式数据库(Row-Based)数据按行存储,常见的行式数据库有Mysql,DB2,Oracle,Sql-server等;列数据库(Column-Based)数据存储方式按列存储,常见的列数据库有Hb...
- AMD发布ROCm 6.4更新:带来了多项底层改进,但仍不支持RDNA 4
-
AMD宣布,对ROCm软件栈进行了更新,推出了新的迭代版本ROCm6.4。这一新版本里,AMD带来了多项底层改进,包括更新改进了ROCm的用户空间库和AMDKFD内核驱动程序之间的兼容性,使其更容易...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- oracle位图索引 (74)
- oracle批量插入数据 (65)
- oracle事务隔离级别 (59)
- oracle 空为0 (51)
- oracle主从同步 (56)
- oracle 乐观锁 (53)
- redis 命令 (78)
- php redis (88)
- redis 存储 (66)
- redis 锁 (69)
- 启动 redis (66)
- redis 时间 (56)
- redis 删除 (67)
- redis内存 (57)
- redis并发 (52)
- redis 主从 (69)
- redis 订阅 (51)
- redis 登录 (54)
- redis 面试 (58)
- 阿里 redis (59)
- redis 搭建 (53)
- redis的缓存 (55)
- lua redis (58)
- redis 连接池 (61)
- redis 限流 (51)