百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

超详细的PostgreSQL工具总结--备份恢复、监控、复制、高可用等

mhr18 2024-09-18 20:35 21 浏览 0 评论

概述

今天主要介绍一些PostgreSQL的工具,大体上可以分为以下几类:

  1. 备份恢复工具
  2. 监控工具
  3. 逻辑和基于触发器的复制工具
  4. 多主复制工具
  5. 高可用和故障转移工具
  6. 连接池工具
  7. 表分区工具
  8. 迁移工具

一、备份恢复工具

1、Barman

Barman (Backup and Recovery Manager-备份恢复管理器) 是一个用Python语言实现的PostgreSQL灾难恢复管理工具,它由第二象限公司(2ndQuadrant)开源并维护。它允许我们在关键业务环境中执行远程备份,为数据库管理员在恢复阶段提供有效的数据保证。Barman最优秀的功能包括备份元数据、增量备份、保留策略、远程回复、WAL文件归档压缩和备份。

Barman (Backup and Recovery Manager) is an open-source administration tool for managing backup and disaster recovery of PostgreSQL servers. It allows your organization to perform remote backups of multiple servers in business critical environments and helps DBAs during the recovery phase.

2、EDB BART

EDB BART(Backup and Recovery Tool -备份恢复工具)是企业级PostgreSQL数据管理策略的关键组件。BART为大规模部署的PostgreSQL服务提供保留策略和基于时间点恢复的实现。BART 2.0版本提供块级别的增量备份。

3、PgBackRest

pgBackRest工具的主要目的是做一款简单可靠的备份恢复工具,以能够无缝的接入到大规模数据库和工作负载中。pgBackRest放弃了其他传统备份工具依赖tar和rsync的套路,它的备份功能都是从软件内部实现的,并采用客户端协议与远程服务器交互。移除了对tar和rsync的依赖,使它能够更好的应对针对特定数据库的备份挑战。客户端远程协议更加灵活,协议可以按照要求限制连接类型以保证备份过程更安全。


二、监控工具

1、PoWA

PoWA(PostgreSQL Workload Analyzer)是PostgreSQL的工作负载分析工具,它收集性能数据并提供实时的图标和图片展示,以帮助我们监控和调优PostgreSQL服务器。它和Oracle AWR或者SQL Server MDW很像。

2、PgCluu

pgCluu是一个PostgreSQL的性能监控和审计工具。它以视图的形式展示您从PostgreSQL数据库集群收集的所有统计信息。它能展示一份完成的数据库集群信息和系统使用率信息。

3、Pgwatch2

Pgwatch2是监控PostgreSQL数据库工具中最易用的一个。它基于Grafana并为PostgreSQL数据库提供开箱即用的监控功能。因为它已经集成到了容器里,所以我们不必担心各种依赖和复杂的安装步骤,几分钟即可将监控搭建完毕,所有的东西都已经提前配置好。我们只需要将数据库连接配置到监控中即可运行正常监控操作。


三、逻辑和基于触发器的复制工具

1、pgLogical

pglogical是采用PostgreSQL扩展插件的形式实现的逻辑复制工具。集成完善,不使用任何触发器和外部程序。该插件作为物理复制的替代者,在有选择性的复制时采用发布/订阅模型,是复制数据的有效方式。

2、Slony-I

Slony-I是PostgreSQL一主多从复制体系的实现,支持级联复制。开发Slony-I的主要目的是为了实现主从复制,该复制体系包含大型数据库系统中对合理配置从系统所要求的所有特征和能力。

Slony-I主要为数据中心和备份站点场景设计,这种场景下通常要求所有节点都是可用的。

3、Bucardo

Bucardo是一个PostgreSQL异步复制系统,允许配置多主多从操作。它是Backcountry.com公司的Jon Jensen和Greg Sabino开发的。


四、多主复制工具

1、BDR

Postgres-BDR(Bi-Directional Replication for PostgreSQL)是世界上第一个开源PostgreSQL多主复制系统,目的是强化生产环境。由第二象限(2ndQuadrant)公司开源并维护,BDR为地理分布集群环境特别设计,使用搞笑的异步逻辑复制方式,支持从2个到48个以上节点在不同地域之间分布。


五、高可用和故障转移工具

1、Repmgr

repmgr是一款开源的、用于PostgreSQL服务器集群复制管理和故障转移的工具。它扩展了PostgreSQL内建的hot-standby能力,可以设置热备份服务器、监控复制、执行管理任务(故障转移、手工切换等)。repmgr是第二象限( 2ndQuadrant)公司开发的。

repmgr is an open-source tool suite for managing replication and failover in a cluster of PostgreSQL servers. It enhances PostgreSQL's built-in hot-standby capabilities with tools to set up standby servers, monitor replication, and perform administrative tasks such as failover or manual switchover operations.

2、PAF

PAF(PostgreSQL Automatic Failover-自动故障转工具)是OCF资源代理贡献给PostgreSQL的,它的初始目的是在Pacemaker管理和PostgreSQL划清规则,让事情变得简单、文档化和有效。如果您的PostgreSQL集群启用了内部流复制,PAF暴露给Pacemaker当前每一个PostgreSQL实例节点的状态:哪个是主,哪个是从,哪个已停止,哪个正在追复制状态等等。如果主节点失败了,Pacemaker默认首先恢复失败的主节点。如果失败不可恢复,PAF会在从节点中选取一个最好的(与已失败主节点数据最为接近)提升为新的主节点。

3、Patroni

Patroni是一个模板,它使用Python为你提供一个自己订制的,高可用的解决方案,为最大程度的可用性,它的配置信息存储在像ZooKeeper, etcd或者Consul中。如果DBAs,DevOps工程师或者SRE正在寻找一个在数据中心中快速部署高可用PostgreSQL方案,或者其他的用途,Patroni 能提供帮助。

4、Stolon

Stolon是一个cloud native的PostgreSQL高可用管理工具。它之所以是cloud native的是因为它可以在为容器内部的PostgreSQL提供高可用(Kubernetes 集成),而且还支持其他种类的基础设施(比如:cloud IaaS,旧风格的基础设施等)


六、Connection Pooling Tools

1、PgBouncer

PgBouncer是Skype的研发人员于2007年开发的连接池工具。在那以后的很多年里,该项目已经由很多开发者参与改进,但是无论怎么变,其降低PostgreSQL连接代价的角色一直未曾改变。PgBouncer允许PostgreSQL数据库操作比其自身所能提供的最大连接数更大的客户端访问。它本质上只追踪每一个客户端连接,然后基于配置信息,创建一些客户端连接并基于先进先服务的原则服务于客户端访问。

2、PgPool-II

pgpool-II也是连接池,我们通常也习惯称它为pgpool。它是另一个流行的连接代理,它早于PgBouncer一年左右的时间发布(2006年下半年发布)。pgpool的使用范围非常关,所能提供的功能包括:基于查询的复制,连接池功能,负载均衡,并行查询等等,pgpool的一个重要特定就是连接池。如果我们有两台PostgreSQL服务器,我们想使用虚拟IP,这样客户端就不会感受到主数据库切换的影响。有时候,为了在服务器之间移动IP地址,首先需要从主数据库服务器上把IP移除,然后在另外一台上重建,这就回中断活动链接,导致短暂的服务不可用。使用pgpool可以缓存服务器直到另一台服务器提升上来,pgpool会从内部处理故障转移,在应用和客户端的角度,数据库似乎从来没有下过线。


七、表分区工具

1、Pg_Partman

pg_partman是PostgreSQL的一个扩展插件,用于创建和管理基于时间或者基于序列的表分区。也支持多级子分区。子表和触发器都由扩展插件自身管理。已经有数据的表也能很容易的添加细粒度的分区。可选的保留策略能够自动删除不再需要的分区。后台工作进程(BGW)能够自动运行分区维护定时执行任务,而不需要依赖于linux cron等程序从外部进行维护。

2、pg_Pathman

pg_pathman是PostgreSQL Pro公司开源的扩展插件,可以为大型分布式数据库提供优化的分区解决方案。使用pg_pathman可以给大型数据库不停机分区,加速分区表查询,动态管理和增加分区,为分区增加外部表,操作联合分区等。


八、迁移工具

1、Ora2pg

Ora2Pg是一个用于将Oracle或MySQL数据库迁移到PostgreSQL的免费工具。它能连接到Oracle数据库,然后自动扫描和导出源端的表结构或者数据,转化为PostgreSQL数据库SQL脚本。Ora2Pg可以当作Oracle数据库的反向引擎,用于大型企业级数据库迁移或者Oracle数据复制到PostgreSQL数据库等场景。它易于使用,不需要任何Oracle数据库背景,你所需要做的仅仅是建立与Oracle数据库的连接而已。

Ora2Pg is a free tool used to migrate an Oracle database to a PostgreSQL compatible schema. It connects your Oracle database, scan it automaticaly and extracts its structure or data, it then generates SQL scripts that you can load into PostgreSQL.


后面会分享更多devops和DBA方面的内容,感兴趣的朋友可以关注下~

如果你觉得这篇文章对你有帮助, 请小小打赏下.

相关推荐

redis 7.4.3更新!安全修复+性能优化全解析

一、Redis是什么?为什么选择它?Redis(RemoteDictionaryServer)是一款开源的高性能内存键值数据库,支持持久化、多数据结构(如字符串、哈希、列表等),广泛应用于缓存、消...

C# 读写Redis数据库的简单例子

CSRedis是一个基于C#的Redis客户端库,它提供了与Redis服务器进行交互的功能。它是一个轻量级、高性能的库,易于使用和集成到C#应用程序中。您可以使用NuGet包管理器或使用以下命令行命令...

十年之重修Redis原理

弱小和无知并不是生存的障碍,傲慢才是。--------面试者总结Redis可能都用过,但是从来没有理解过,就像一个熟悉的陌生人,本文主要讲述了Redis基本类型的使用、数据结构、持久化、单线程模型...

高频L2行情数据Redis存储架构设计(含C++实现代码)

一、Redis核心设计原则内存高效:优化数据结构,减少内存占用低延迟访问:单次操作≤0.1ms响应时间数据完整性:完整存储所有L2字段实时订阅:支持多客户端实时数据推送持久化策略:RDB+AOF保障数...

Magic-Boot开源引擎:零代码玩转企业级开发,效率暴涨!

一、项目介绍基于magic-api搭建的快速开发平台,前端采用Vue3+naive-ui最新版本搭建,依赖较少,运行速度快。对常用组件进行封装。利用Vue3的@vue/compiler-sfc单文...

项目不行简历拉胯?3招教你从面试陪跑逆袭大厂offer!

项目不行简历拉胯?3招教你从面试陪跑逆袭大厂offer!老铁们!是不是每次面试完都感觉自己像被大厂面试官婉拒的渣男?明明刷了三个月题库,背熟八股文,结果一被问项目就支支吾吾,简历写得像大学生课程设计?...

谷歌云平台:开发者部署超120个开源包

从国外相关报道了解,Google与Bitnami合作为Google云平台增加了一个新的功能,为了方便开发人员快捷部署程序,提供了120余款开源应用程序云平台的支持。这些应用程序其中包括了WordPre...

知名互联网公司和程序员都看好的数据库是什么?

2017年数据库领域的最大趋势是什么?什么是最热的数据处理技术?学什么数据库最有前途?程序员们普遍不喜欢的数据库是什么?本文都会一一揭秘。大数据时代,数据库的选择备受关注,此前本号就曾揭秘国内知名互联...

腾讯云发布云存储MongoDB服务

近日,著名安全专家兼Shodan搜索引擎的创建者JohnMatherly发现,目前至少有35000个受影响的MongoDB数据库暴露在互联网上,它们所包含的数据暴露在网络攻击风险之中。据估计,将近6...

已跪,Java全能笔记爆火,分布式/开源框架/微服务/性能调优全有

前言程序员,立之根本还是技术,一个程序员的好坏,虽然不能完全用技术强弱来判断,但是技术水平一定是基础,技术差的程序员只能CRUD,技术不深的程序员也成不了架构师。程序员对于技术的掌握,除了从了解-熟悉...

面试官:举个你解决冲突的例子?别怂!用这个套路……

面试官:举个你解决冲突的例子?别怂!用这个套路……最近收到粉丝私信,说被问到:团队技术方案有分歧怎么办?当场大脑宕机……兄弟!这不是送命题,是展示你情商+技术判断力的王炸题!今天教你们3招,用真实案例...

面试碰到MongoDB?莫慌,跟面试官这样吹MongoDB 复制集

推荐阅读:吊打MySQL:21性能优化实践+学习导图+55面试+笔记+20高频知识点阿里一线架构师分享的技术图谱,进阶加薪全靠它十面字节跳动,依旧空手而归,我该放弃吗?文末会分享一些MongoDB的学...

SpringBoot集成扩展-访问NoSQL数据库之Redis和MongoDB!

与关系型数据库一样,SpringBoot也提供了对NoSQL数据库的集成扩展,如对Redis和MongoDB等数据库的操作。通过默认配置即可使用RedisTemplate和MongoTemplate...

Java程序员找工作总卡项目关?

Java程序员找工作总卡项目关?3招教你用真实经历写出HR抢着要的简历!各位Java老哥,最近刷招聘软件是不是手都划酸了?简历投出去石沉大海,面试邀请却总在飞别人的简历?上周有个兄弟,13年经验投了5...

Java多租户SaaS系统实现方案

嗯,用户问的是Java通过租户id实现的SaaS方案。首先,我需要理解用户的需求。SaaS,也就是软件即服务,通常是指多租户的架构,每个租户的数据需要隔离。用户可能想知道如何在Java中利用租户ID来...

取消回复欢迎 发表评论: