百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

数据处理速度和可靠性:内存中同步复制

mhr18 2024-10-12 04:56 21 浏览 0 评论

尽管当前经济环境艰难,但大公司仍在继续将其业务数字化。移动应用程序和个人仪表板已成为不可或缺的服务和通信渠道,大大增加了IT基础设施的负载。有许多方法可以通过提高系统性能来处理此事。其中一个选项是使用内存技术。但它能保证足够的可靠性吗?


大约十年前,每秒1000次查询的容量足以处理银行卡中所有与卡相关的操作。如今,仅在排名前 10 位的银行中进行投资交易,每秒就会生成 5,000 个查询。许多公司和银行用作主要数据存储的传统数据库无法应对来自移动应用程序用户的请求流量增加。为了避免财务和声誉损失,IT部门正在寻找加速现有系统的方法。

对于许多公司来说,解决方案是内存技术。内存方法意味着数据存储和处理在RAM中进行。数据也会写入硬盘驱动器以提高可靠性。这允许实现更好的容量和每秒处理数十万个查询,而传统数据库每秒最多可以处理10-15,000个查询。因此,您可能会问,如果效率更高,为什么不是每个人都使用内存中的解决方案呢?答案很简单:资源。重建传统的数据库基础架构以支持内存中技术需要花费大量的金钱和时间。

大多数大公司的 IT 环境早在我们所知道的内存中方法出现之前就已经形成。许多业务流程都围绕着过时的系统。将关键系统迁移到另一个技术堆栈不可避免地会导致巨大的财务支出。有时,创建新公司可能比从过时的基础架构迁移更便宜。每家公司都会做出选择:从头开始构建新架构,或者更新和改进现有架构。

在这两种情况下,解决方案必须工作得足够快,并且具有足够的容错能力、可伸缩性和灵活性。容错问题的答案是复制的,我们将进一步更详细地讨论。可以在应用或服务级别上实现所需的可伸缩性和灵活性。但复制内置于数据库体系结构中,它会影响整个系统的可靠性和容量。在选择系统供应商时,请注意他们如何实现复制。

为什么我们需要数据库复制?

简单来说,复制是将数据从一个实例复制到其他几个实例---复制。这提高了解决方案的可靠性并减少了数据库的负载。由于相同的数据存储在多个实例上,因此应用或服务可以快速切换到副本,并在主服务器出现故障时继续工作。

您可以使用一个或多个不同供应商的技术设置副本。例如,Oracle 的复制解决方案 GoldenGate 通常与其他供应商的数据库一起使用。但是,您可以使用内存中的技术构建类似的解决方案,并且会更便宜。不同供应商之间的复制提高了解决方案的可靠性。此方法允许您在不重写其主逻辑的情况下加快应用程序的速度。

同步和异步复制

有两种类型的复制---同步复制和异步复制。内存中解决方案通常使用异步复制,因为它不会影响服务器响应时间。进行更改和在应用中看到结果之间的延迟小于一毫秒,这对于用户体验来说微不足道。使用异步复制实现的关键指标是恢复时间目标 (RTO)。

使用异步复制时,事务将发送到副本,而不管对用户的响应如何。如果服务器出现故障,则当用户收到有关成功写入的响应时,数据可能会丢失。这就是为什么异步复制对于处理关键信息(如财务操作或客户订单)的系统来说不是一个好的解决方案。

使用同步复制时,主数据库会将有关事务的信息发送到所有副本。仅当所有副本都确认它们已成功执行事务时,复制才被视为已完成。这样,恢复点目标 (RPO) 就是最小的。这可确保所有副本都包含相同的数据,并且在发生故障时不会丢失单个事务。

同步方法也有缺点。等待来自副本的答复会产生滞后,该滞后是确认数的倍数。如果数据库正在等待单个副本,则该操作需要两倍的时间才能完成。如果有三个副本,则需要三倍,依此类推。

内存中同步复制

任何内存中的技术都是为提高性能而设计的。同步方法(其中数据库等待来自副本的响应)会导致延迟增加一倍。因此,同步复制会牺牲速度来获得可靠性。也许这就是为什么很少有供应商在他们的产品中实现它的原因。

但是,设计良好的同步复制主要影响延迟,对每秒的操作数几乎没有影响。当一个查询正在等待同步时,其他查询可以并行运行。如果数据库具有查询隔离,则它看起来一致,并且用户看不到中间状态。

使用异步复制时,查询会立即完成,因此它们不需要很多资源。但是,当我们在同步复制中将查询彼此隔离时,每个查询都需要计算资源和内存空间。对于每秒一千个查询来说,这不是问题。但是,当查询数量达到每秒数万个时,这些小费用会显着加载内存并需要大量资源。这就是为什么开发内存中同步复制是我们在Tarantool中完成的一项独特任务。

相关推荐

订单超时自动取消业务的 N 种实现方案,从原理到落地全解析

在分布式系统架构中,订单超时自动取消机制是保障业务一致性的关键组件。某电商平台曾因超时处理机制缺陷导致日均3000+订单库存锁定异常,直接损失超50万元/天。本文将从技术原理、实现细节、...

使用Spring Boot 3开发时,如何选择合适的分布式技术?

作为互联网大厂的后端开发人员,当你满怀期待地用上SpringBoot3,准备在项目中大显身手时,却发现一个棘手的问题摆在面前:面对众多分布式技术,究竟该如何选择,才能让SpringBoot...

数据库内存爆满怎么办?99%的程序员都踩过这个坑!

你的数据库是不是又双叒叕内存爆满了?!服务器监控一片红色警告,老板在群里@所有人,运维同事的电话打爆了手机...这种场景是不是特别熟悉?别慌!作为一个在数据库优化这条路上摸爬滚打了10年的老司机,今天...

springboot利用Redisson 实现缓存与数据库双写不一致问题

使用了Redisson来操作Redis分布式锁,主要功能是从缓存和数据库中获取商品信息,以下是针对并发时更新缓存和数据库带来不一致问题的解决方案1.基于读写锁和删除缓存策略在并发更新场景下,...

外贸独立站数据库炸了?对象缓存让你起死回生

上周黑五,一个客户眼睁睁看着服务器CPU飙到100%——每次页面加载要查87次数据库。这让我想起2024年Pantheon的测试:Redis缓存能把WooCommerce查询速度提升20倍。跨境电商最...

手把手教你在 Spring Boot3 里纯编码实现自定义分布式锁

为什么要自己实现分布式锁?你是不是早就受够了引入各种第三方依赖时的繁琐?尤其是分布式锁这块,每次集成Redisson或者Zookeeper,都得额外维护一堆配置,有时候还会因为版本兼容问题头疼半...

如何设计一个支持百万级实时数据推送的WebSocket集群架构?

面试解答:要设计一个支持百万级实时数据推送的WebSocket集群架构,需从**连接管理、负载均衡、水平扩展、容灾恢复**四个维度切入:连接层设计-**长连接优化**:采用Netty或Und...

Redis数据结构总结——面试最常问到的知识点

Redis作为主流的nosql存储,面试时经常会问到。其主要场景是用作缓存,分布式锁,分布式session,消息队列,发布订阅等等。其存储结构主要有String,List,Set,Hash,Sort...

skynet服务的缺陷 lua死循环

服务端高级架构—云风的skynet这边有一个关于云风skynet的视频推荐给大家观看点击就可以观看了!skynet是一套多人在线游戏的轻量级服务端框架,使用C+Lua开发。skynet的显著优点是,...

七年Java开发的一路辛酸史:分享面试京东、阿里、美团后的心得

前言我觉得有一个能够找一份大厂的offer的想法,这是很正常的,这并不是我们的饭后谈资而是每个技术人的追求。像阿里、腾讯、美团、字节跳动、京东等等的技术氛围与技术规范度还是要明显优于一些创业型公司...

mysql mogodb es redis数据库之间的区别

1.MySQL应用场景概念:关系型数据库,基于关系模型,使用表和行存储数据。优点:支持ACID事务,数据具有很高的一致性和完整性。缺点:垂直扩展能力有限,需要分库分表等方式扩展。对于复杂的查询和大量的...

redis,memcached,nginx网络组件

1.理解阻塞io,非阻塞io,同步io,异步io的区别2.理解BIO和AIO的区别io多路复用只负责io检测,不负责io操作阻塞io中的write,能写多少是多少,只要写成功就返回,譬如准备写500字...

SpringBoot+Vue+Redis实现验证码功能

一个小时只允许发三次验证码。一次验证码有效期二分钟。SpringBoot整合Redis...

AWS MemoryDB 可观测最佳实践

AWSMemoryDB介绍AmazonMemoryDB是一种完全托管的、内存中数据存储服务,专为需要极低延迟和高吞吐量的应用程序而设计。它与Redis和Memcached相似,但具有更...

从0构建大型AI推荐系统:实时化引擎从工具到生态的演进

在AI浪潮席卷各行各业的今天,推荐系统正从幕后走向前台,成为用户体验的核心驱动力。本文将带你深入探索一个大型AI推荐系统从零起步的全过程,揭示实时化引擎如何从单一工具演进为复杂生态的关键路径。无论你是...

取消回复欢迎 发表评论: