百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

PostgreSQL强大的高可用技术

mhr18 2024-12-17 13:40 16 浏览 0 评论

作者:杭州美创科技有限公司


在PostgreSQL中,有这样一种强大的高可用技术,叫做streaming replication,译作流复制,又称流式复制,类似于oracle的dataguard,也是通过传输“redo”日志来确保主备库的一致性,那么在PostgreSQL中的重做日志叫做预写日志(Write-ahead logging),简称WAL日志。


postgresql流复制发展技术时间线


在PostgreSQL9.0之前,是基于文件(base-file)的传输方式,其传输WAL日志的方法是主库写完一个完整的WAL日志之后,再把WAL日志文件拷贝到备库,然后备库再应用该WAL文件,当然了,备库也只能作为备份的存在,因为它不支持读写。且由于不是实时同步,势必导致高延迟的主备延迟。


在9.0版本之后引入了流复制方法,通过流复制,备库不断的从主库同步相应的数据,并在备库应用每个WAL record,每次传输单位是WAL日志的record。同时PostgreSQL9.0之后提供了Hot Standby,能够实现和oracle 11g出现的active dataguard一样的功能,备库在接收并应用WAL日志的同时也能够为用户提供只读服务,实现读写分离,提升了用户体验。



流复制的发展在每个版本都有不同程度的迭代和更新,逐步成长为一个功能丰富、使用方便的高可用架构。从9.0版本开始到现在,流复制的应运而生,伴随着时间发展延续,其灵活性和稳定性从一定程度上打响了PostgreSQL在数据库浪潮中占得一席之地的重要一枪。


流复制的原理


流复制模式的工作原理,通过前面的阐述,我们已经了解到流复制就是通过将主库产生的WAL日志,不断地传输到备库,然后备库应用WAL来实现对原数据的更改确保一致性的过程,那么主备库中各进程具体是怎么协同操作的呢?



从图示中我们可以很清楚的看到,PostgreSQL服务器的后台进程在事务commit之后,一边准备将脏数据刷入磁盘上的数据文件中,一边通过walbuffer将操作记录写入wal日志,然后主库通过walsender进程将wal日志传输给备库,备库walreceiver进程接收,使用walwrite进程写入自己本地的wal日志中,最后通过startup进程应用到数据文件上,实现备库与主库数据的一致性。


PostgreSQL流复制架构拥有异步和同步模式,在同步流复制模式中我们通过控制主库的synchronous_commit参数来指定当数据库提交事务时是否需要等待WAL日志写入硬盘后才向客户端返回成功,它的可选值及对应作用如下表所示(摘录于官方文档)。



为了便于理解,我们用图示来具体表示设置不同的synchronous_commit等级所带来的影响。



主库提交事务的这一过程,参数的不同设置具体表现为以下情况:


当置为off的时候,不需等待本地相应WAL数据写入本地WAL日志文件即可向客户端返回成功。


当置为local的时候,需等待相应WAL数据写入本地WAL日志文件后才向客户端返回成功。


当置为remote_write的时候,需等待备库接收主库发送的WAL日志并写入备节点操作系统缓存中,才向客户端返回成功,此时只有主库才有一份已经落盘的wal文件。


当置为on的时候,需等待备库接收主库发送的WAL日志并写入WAL文件,之后才向客户端返回成功,这个时候备库和主库都有一份已经落盘的wal文件。


当置为remote_apply的时候,需等待备库完成对wal日志的应用才向客户端返回成功,那么这个等级所带来的的事务相应时间也是最长的。


我们对这五个参数的做一次性能比较,在同一环境下,对比这些不同值得设定对同步流复制性能的影响。


我们使用pgbench做性能测试,每个参数的设定值都测试三次取平均值,得出如下统计图表:



synchronous_commit 是支持事务级的参数,用户可以根据会话的级别来具体配置。从图表中我们可以看到synchronous_commit设置不同的值,对数据库性能是有一定程度影响的。


在实际操作中,我们需要根据环境的实际情况来选择同步或异步模式,同步模式需要等待备库的写盘才能返回成功,这样一来,在主备库复制正常的情况下,能够保证备库的数据不会丢失,但是带来的一个问题是,一旦备库down掉,主库就会挂起而无法进行后续的操作,也就是说,在同步模式中,备库对主库的影响是很大的,而异步模式就不会发生这种情况。因此,在生产环境中,我们大多不会选择同步复制模式。

相关推荐

AlmaLinux 9.6发布:升级工具、初步支持IBM Power虚拟化技术

IT之家5月21日消息,科技媒体linuxiac昨日(5月20日)发布博文,报道称代号为SageMargay的AlmaLinux9.6发行版已上线,距上一版本9.5发...

Java最新学习路线,系统全面,零基础适用

首先,我个人比较推崇的学习方法是:先学java前段,也就是HTML,css,js,因为学习java以后肯定是往javaee方向发展的,学习完前端,在学习后端很多东西比计较容易理解!其中J2SE是关键...

深入理解数据库事务(数据库事务处理的理解)

Transaction作为关系型数据库的核心组成,在数据安全方面有着非常重要的作用,本文会一步步解析事务的核心特性,以获得对事务更深的理解。什么是事务数据库几乎是所有系统的核心模块,它将数据有条理地保...

IvorySQL 4.4 发布(1044mysql)

IvorySQL4.4已于2025年3月10日正式发布。新版本全面支持PostgreSQL17.4,新增多项新功能,并修复了已知问题。增强功能PostgreSQL17.3增强功...

Oracle 与 Google Cloud 携手大幅扩展多云服务

据DCD4月10日报道,甲骨文(Oracle)与谷歌云(GoogleCloud)深化合作,全力扩展多云产品。双方计划为OracleDatabaseGoogleCloud解决方案新增11...

Izzi 利用 Oracle 云提高计费效率和客户体验

据thefastmode网5月2日报道,墨西哥电信运营商Izzi宣布采用Oracle云基础设施(OCI),对其业务支持系统(BSS)进行现代化改造增强客户体验,已经成功完成。通过在OCI上运行...

好莱坞群星也有明星脸?硅谷科技名人本尊分身比一比

假如有部电影齐聚了众科技名人角色,如同许多好莱坞大牌卡司所共同主演的《瞒天过海》(Ocean’sEleven)那样,演出彼此在商场上竞逐、或共同对抗外来竞争捍卫硅谷的故事,更在剧中有不少对手戏,会不...

澳大利亚Find My iPhone被黑 多人被黑客锁机

FindMyiPhone本来是一个用于协助找回被盗手机的好工具,但是现在,澳洲的苹果用户发现他们的FindMyiPhone变成了黑客的帮凶。昨天,这名自称为OlegPliss的黑客使用Fin...

服务器密码错误被锁定怎么解决(服务器密码失效)

#服务器密码错误被锁定解决方案当服务器因多次密码错误导致账户被锁定时,可以按照以下步骤进行排查和解决:##一、确认锁定状态###1.检查账户锁定状态(Linux)```bash#查看账户锁定...

凌晨突发的数据库重大故障,我排查了一整天……

春节期间过得太热闹了,上班确实没啥状态,这不刚发生的一个重大性能故障,排查了整整一天,后面的领导都站成了一排,本次把故障发生的详细分析过程分享给大家!本次故障发生在凌晨,核心应用卡顿非常严重,Orac...

Oracle锁表紧急处理!3招快速解锁方案

开篇:突发故障现场凌晨1点,某电商系统突然卡顿,数千笔支付订单无法完成——数据库出现死锁,技术团队紧急响应...(遇到类似情况的,欢迎在评论区分享经历)一、问题重现:死锁是如何产生的?典型场景:问题根...

JetBrains DataGrip Mac中文破解版V2025.1下载安装教程

DataGripforMac是由JetBrains开发的数据库集成开发环境(IDE),专为数据库管理员和开发人员设计。它支持多种数据库(如MySQL、PostgreSQL、Oracle、SQ...

电脑装安卓系统,安卓X86版5.1 RC1下载

日前,谷歌放出了Android-x865.1的第一个候选版本Android-x865.1RC1,该版本基于Android5.1.1r24Lollipop开发,更新包括大量x86(32位)代...

来来来!一文告诉你Eclipse的正确安装使用姿势,你都清楚吗?

前言本学习笔记是有关如何设置Eclipse的详细说明。即使你天天在使用它,但是,相信我,或许你并不足够了解它。安装Java运行时环境Eclipse是Java应用程序,因此设置Eclipse的第一步是安...

分享收藏的 oracle 11.2.0.4各平台的下载地址

概述oracle11.2.0.4是目前生产环境用的比较多的版本,同时也是很稳定的一个版本。目前官网上已经找不到下载链接了,有粉丝在头条里要求分享一下下载地址。一、各平台下载地址1.1Linuxx...

取消回复欢迎 发表评论: