数据处理速度和可靠性:内存中同步复制
mhr18 2024-10-12 04:56 18 浏览 0 评论
尽管当前经济环境艰难,但大公司仍在继续将其业务数字化。移动应用程序和个人仪表板已成为不可或缺的服务和通信渠道,大大增加了IT基础设施的负载。有许多方法可以通过提高系统性能来处理此事。其中一个选项是使用内存技术。但它能保证足够的可靠性吗?
大约十年前,每秒1000次查询的容量足以处理银行卡中所有与卡相关的操作。如今,仅在排名前 10 位的银行中进行投资交易,每秒就会生成 5,000 个查询。许多公司和银行用作主要数据存储的传统数据库无法应对来自移动应用程序用户的请求流量增加。为了避免财务和声誉损失,IT部门正在寻找加速现有系统的方法。
对于许多公司来说,解决方案是内存技术。内存方法意味着数据存储和处理在RAM中进行。数据也会写入硬盘驱动器以提高可靠性。这允许实现更好的容量和每秒处理数十万个查询,而传统数据库每秒最多可以处理10-15,000个查询。因此,您可能会问,如果效率更高,为什么不是每个人都使用内存中的解决方案呢?答案很简单:资源。重建传统的数据库基础架构以支持内存中技术需要花费大量的金钱和时间。
大多数大公司的 IT 环境早在我们所知道的内存中方法出现之前就已经形成。许多业务流程都围绕着过时的系统。将关键系统迁移到另一个技术堆栈不可避免地会导致巨大的财务支出。有时,创建新公司可能比从过时的基础架构迁移更便宜。每家公司都会做出选择:从头开始构建新架构,或者更新和改进现有架构。
在这两种情况下,解决方案必须工作得足够快,并且具有足够的容错能力、可伸缩性和灵活性。容错问题的答案是复制的,我们将进一步更详细地讨论。可以在应用或服务级别上实现所需的可伸缩性和灵活性。但复制内置于数据库体系结构中,它会影响整个系统的可靠性和容量。在选择系统供应商时,请注意他们如何实现复制。
为什么我们需要数据库复制?
简单来说,复制是将数据从一个实例复制到其他几个实例---复制。这提高了解决方案的可靠性并减少了数据库的负载。由于相同的数据存储在多个实例上,因此应用或服务可以快速切换到副本,并在主服务器出现故障时继续工作。
您可以使用一个或多个不同供应商的技术设置副本。例如,Oracle 的复制解决方案 GoldenGate 通常与其他供应商的数据库一起使用。但是,您可以使用内存中的技术构建类似的解决方案,并且会更便宜。不同供应商之间的复制提高了解决方案的可靠性。此方法允许您在不重写其主逻辑的情况下加快应用程序的速度。
同步和异步复制
有两种类型的复制---同步复制和异步复制。内存中解决方案通常使用异步复制,因为它不会影响服务器响应时间。进行更改和在应用中看到结果之间的延迟小于一毫秒,这对于用户体验来说微不足道。使用异步复制实现的关键指标是恢复时间目标 (RTO)。
使用异步复制时,事务将发送到副本,而不管对用户的响应如何。如果服务器出现故障,则当用户收到有关成功写入的响应时,数据可能会丢失。这就是为什么异步复制对于处理关键信息(如财务操作或客户订单)的系统来说不是一个好的解决方案。
使用同步复制时,主数据库会将有关事务的信息发送到所有副本。仅当所有副本都确认它们已成功执行事务时,复制才被视为已完成。这样,恢复点目标 (RPO) 就是最小的。这可确保所有副本都包含相同的数据,并且在发生故障时不会丢失单个事务。
同步方法也有缺点。等待来自副本的答复会产生滞后,该滞后是确认数的倍数。如果数据库正在等待单个副本,则该操作需要两倍的时间才能完成。如果有三个副本,则需要三倍,依此类推。
内存中同步复制
任何内存中的技术都是为提高性能而设计的。同步方法(其中数据库等待来自副本的响应)会导致延迟增加一倍。因此,同步复制会牺牲速度来获得可靠性。也许这就是为什么很少有供应商在他们的产品中实现它的原因。
但是,设计良好的同步复制主要影响延迟,对每秒的操作数几乎没有影响。当一个查询正在等待同步时,其他查询可以并行运行。如果数据库具有查询隔离,则它看起来一致,并且用户看不到中间状态。
使用异步复制时,查询会立即完成,因此它们不需要很多资源。但是,当我们在同步复制中将查询彼此隔离时,每个查询都需要计算资源和内存空间。对于每秒一千个查询来说,这不是问题。但是,当查询数量达到每秒数万个时,这些小费用会显着加载内存并需要大量资源。这就是为什么开发内存中同步复制是我们在Tarantool中完成的一项独特任务。
相关推荐
- SQL入门知识篇(sql入门新手教程视频)
-
一、什么是数据库?什么是SQL?1、数据库:存放数据,可以很多人一起使用2、关系数据库:多张表+各表之间的关系3、一张表需要包含列、列名、行4、主键:一列(或一组列),其值能够唯一区分表中的每个行。5...
- postgresql实现跨库查询-dblink的妙用
-
技术导语:用惯了oracle的dblink,转战postgresql,会一时摸不着头脑。本期就重点详细讲解postgresql如何安装dblink模块及如何使用dblink实现跨库查询。安装cont...
- Oracle VM VirtualBox虚拟机软件(oracle vm virtualbox win10)
-
OracleVMVirtualBox是一款完全免费的虚拟机软件,下载银行有提供下载,软件支持安装windows、linux等多个操作系统,让用户可以在一台设备上实现多个操作系统的操作。同时软件有着...
- 开源 SPL 轻松应对 T+0(开源srs)
-
T+0问题T+0查询是指实时数据查询,数据查询统计时将涉及到最新产生的数据。在数据量不大时,T+0很容易完成,直接基于生产数据库查询就可以了。但是,当数据量积累到一定程度时,在生产库中进行大数据...
- 中小企业佳选正睿ZI1TS4-4536服务器评测
-
随着科技的不断发展,各行各业对于数据使用越加频繁,同时针对服务器的选择方面也就越来越多样化和细分化。那么对于我们用户来说,如何选择符合自身业务需求和最优性价比的产品呢?笔者将通过刚刚购买的这台服务器的...
- MFC转QT:Qt基础知识(mfc和qt的区别)
-
1.Qt框架概述Qt的历史和版本Qt是一个跨平台的C++应用程序开发框架,由挪威公司Trolltech(现为QtCompany)于1991年创建。Qt的发展历程:1991年:Qt项目启动1995年...
- 数据库,QSqlTableModel(数据库有哪些)
-
QMYSQL——mysqlQSQLITE——sqliteQOICQ——orcale所需头文件.pro增加sql#include<QSqlDatabase>#include<Q...
- python通过oledb连接dbf数据库(python连接jdbc)
-
起因:因为工作需要,需要读取dbf文件和系统数据中数据进行校对,因为知道dbf文件可以用sql查询,所以想能不能像mysql/oracle那样连接,再调用执行sql方法,通过一系列百度,尝试,最终通过...
- Excel常用技能分享与探讨(5-宏与VBA简介 VBA与数据库)
-
在VBA(VisualBasicforApplications)中使用数据库(如Access、SQLServer、MySQL等)具有以下优点,适用于需要高效数据管理和复杂业务逻辑的场景:1....
- Excel常用技能分享与探讨(5-宏与VBA简介 VBA与数据库-二)
-
以下是常见数据库软件的详细配置步骤,涵盖安装、驱动配置、服务启动及基本设置,确保VBA能够顺利连接:一、MicrosoftAccess适用场景:小型本地数据库,无需独立服务。配置步骤:安装Acces...
- Windows Docker 安装(docker安装windows容器)
-
Docker并非是一个通用的容器工具,它依赖于已存在并运行的Linux内核环境。Docker实质上是在已经运行的Linux下制造了一个隔离的文件环境,因此它执行的效率几乎等同于所部署的L...
- Windows下安装Ubuntu虚拟机方法(windows下安装ubuntu20)
-
在Windows下安装Ubuntu虚拟机。选择使OracleVMVirtualBox安装Ubuntu虚拟机。1.下载和安装OracleVMVirtualBox:访问OracleVMVir...
- java入门教程1 - 安装和配置(win和linux)
-
windows安装和配置安装javahttps://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html目前大部分项目的...
- Centos7 安装Tomcat8服务及配置jdk1.8教程
-
1、下载jdk1.8压缩包下载地址:https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.htmltom...
- 全网最完整的免费java教程讲义(一)——java配置和安装
-
一,安装Java1)安装JDK要学习和使用java,首先需要安装JDK(JavaDevelopemntKit),相当于java安装包。Java的下载页在甲骨文官网上:https://www.or...
你 发表评论:
欢迎- 一周热门
- 最近发表
-
- SQL入门知识篇(sql入门新手教程视频)
- postgresql实现跨库查询-dblink的妙用
- Oracle VM VirtualBox虚拟机软件(oracle vm virtualbox win10)
- 开源 SPL 轻松应对 T+0(开源srs)
- 中小企业佳选正睿ZI1TS4-4536服务器评测
- MFC转QT:Qt基础知识(mfc和qt的区别)
- 数据库,QSqlTableModel(数据库有哪些)
- python通过oledb连接dbf数据库(python连接jdbc)
- Excel常用技能分享与探讨(5-宏与VBA简介 VBA与数据库)
- Excel常用技能分享与探讨(5-宏与VBA简介 VBA与数据库-二)
- 标签列表
-
- oracle位图索引 (63)
- oracle批量插入数据 (62)
- oracle事务隔离级别 (53)
- oracle 空为0 (50)
- oracle主从同步 (55)
- oracle 乐观锁 (51)
- redis 命令 (78)
- php redis (88)
- redis 存储 (66)
- redis 锁 (69)
- 启动 redis (66)
- redis 时间 (56)
- redis 删除 (67)
- redis内存 (57)
- redis并发 (52)
- redis 主从 (69)
- redis 订阅 (51)
- redis 登录 (54)
- redis 面试 (58)
- 阿里 redis (59)
- redis 搭建 (53)
- redis的缓存 (55)
- lua redis (58)
- redis 连接池 (61)
- redis 限流 (51)