百度360必应搜狗淘宝本站头条
php redisredis 命令redis 锁redis 主从redis 删除
当前位置：网站首页 > 技术教程 > 正文

Oracle 分片技术（oracle分片一般分多大）

mhr18 2024-10-13 03:28 43 浏览 0 评论

分区表是一个利器，在数据操作只落在某个分区，或者是需要对历史数据进行清理的时候，能发挥出巨大的作用。不过，如果是做全表的操作，比如针对所有分区进行汇总查询的时候，分区表的作用就不明显了，要是这个表达到几百 GB 甚至更大，这样的全量处理基本上数据库是撑不住的。

对于有海量数据的数据库，如果是因为表多而数据多，这时候适合使用垂直切分，即把关系紧密（比如同一模块）的表切分出来放在一个服务器上。垂直切分的最大特点就是规则简单，实施也更为方便，尤其适合各业务之间的耦合度非常低、相互影响很小、业务逻辑非常清晰的系统。在这种系统中，可以很容易做到将不同业务模块所使用的表拆分到不同的数据库中。根据不同的表来进行拆分，对应用程序的影响也更小，拆分规则也会比较简单清晰，这就是所谓的share nothing。


数据海量不是因为表多，而是因为数据量大，这时就适合进行水平切分，将同一个表中的不同数据拆分到不同的数据库中，这就是分片技术。简单来说，Oracle 的分片技术就是通过分区技术的扩展来实现的。

以前一个表的分区可以存在于不同的表空间中，现在可以存在于不同的数据库中。不同分区存在于不同数据库，这就将数据隔离了开来，并且还可以用到不同数据库主机的资源，不过相对水平切分来说，垂直切分会更复杂一些。


海量数据库可能表数量又多，记录数又多，因此多数系统会将垂直切分和水平切分联合使用，先对系统做垂直切分，再针对每一张表的情况有选择性地做水平切分，从而将整个数据库切分成一个分布式矩阵。



Sharded database（SDB）：逻辑上SDB是一个数据库，但是物理上SDB包括多个物理独立的数据库，SDB类似一个数据库池，数据库池中包括多个数据库（Shard）。目前的版本最大支持1000个Shard。

Shard:SDB包括多个物理独立的数据库，每一个数据库都称为Shard，每个Shard数据库位于不同的服务器上，它们不共享CPU、内存、存储等资源。每个Shard数据库中保存表的不同数据集，但是每个Shard中都有相同的列。Shard数据库可以是Dataguard/ADG，提供高可用性，Shard数据库（单机或者ADG）可以通过GSM deploy来自动创建，也可以将一个已经通过dbca创建好的数据库添加到SDB。

Shard catalog：这是一个Oracle数据库，用于集中存储管理SDB的配置信息，是SDB的核心。SDB配置变化，比如添加/删除shard、Global service等，都记录在Shard catalog中。如果应用查询多个 Shard 中的数据，那么由 Shard catalog 统一协调分配。我们推荐将 Shard catalog配置为Dataguard环境，这样可以提供HA高可用性。如果Shard catalog无法访问，那么只会影响一些维护操作和跨Shard访问，而不会影响单独的Shard操作（通过sharding key的查询/DML）。

Shard directors: Global Data Service（GDS）实现对分片的集中部署和管理。GSM是GDS的核心组件。GSM作为Shard director,GSM类似于监听器，将客户端对SDB的请求路由到对应的shard，负载均衡客户端的访问。


相关推荐

C++开发必知的内存问题及常用的解决方法-经典文章

1.内存管理功能问题由于C++语言对内存有主动控制权，内存使用灵活和效率高，但代价是不小心使用就会导致以下内存错误：omemoryoverrun：写内存越界odoublefree：同一块内...

缓存用不好，系统崩得早!10条军规让你成为缓存高手

凌晨三点，我被电话惊醒：“苏工！首页崩了！”监控显示：缓存命中率0%，数据库QPS10万+，线程阻塞2000+。根本原因竟是同事没加缓存！不会用缓存的程序员，就像不会刹车的赛车手——...

彻底搞清楚内存泄漏的原因，如何避免内存泄漏，如何定位内存泄漏

作为C/C++开发人员，内存泄漏是最容易遇到的问题之一，这是由C/C++语言的特性引起的。C/C++语言与其他语言不同，需要开发者去申请和释放内存，即需要开发者去管理内存，如果内存使用不当，就容易造成...

Java中间件-Memcached（Java中间件大全）

一、知识结构及面试题目分析缓存技术的大规模使用是互联网架构区别于传统IT技术最大的地方，是整体高并发高性能架构设计中是重中之重的关键一笔，也是互联网公司比较偏好的面试题目。按照在软件系统中所处位置...

linux内存碎片防治技术（linux内存碎片整理）

推荐视频：90分钟了解Linux内存架构，numa的优势，slab的实现，vmalloc原理剖析Linux内核内存分配与回收Linuxkernel组织管理物理内存的方式是buddysystem（伙...

Redis主从架构详解（redis主从配置详细过程）

Redis主从架构搭建Redis主节点配置创建主节点目录（/opt/redis-master），复制redis.conf到该目录下，redis.conf配置项修改#后台启动daemonizeyes...

揭开CXL内存的神秘面纱（内存c1）

摘要：现代数据中心对内存容量的高需求促进了内存扩展和分解方面的多条创新线，其中一项获得极大关注的工作是基于ComputeeXpressLink（CXL）的内存扩展。为了更好地利用CXL，研究人员建...

一文彻底弄懂 TPS RPS QPS（tps cps）

以下是关于RPS、QPS、TPS的核心区别与关联的总结，结合实际场景和优化建议：一、核心定义与区别RPS：RequestsPerSecond每秒请求数客户端到服务器的完整请求数量Web服务...

用Redis的“集合”找出你和朋友的“共同关注”

你是不是在刷抖音、微博、小红书的时候，常常会看到这样的提示：“你和XXX有共同关注的博主/朋友”？或者当你关注了一个新的明星，系统会推荐“你的朋友YYY也关注了这位明星”？这个看似简单的功能背后，其实...

WOT2016彭哲夫:科班出身开发者对运维人员的期许

“运维与开发”是老生常谈的话题，前几天和一个运维人聊天，TA说一些公司运维岗位都不公开招聘了，这让众多运维人员情何以堪？是运维的岗位真的饱和了？是找到合适的运维人才难？还是有这样那样的因素？带着这些疑...

Java程序员最常用的20%技术总结（java程序员要掌握什么）

我听说编程语言，经常使用的是其中20％的技术。在Java这门语言中，这20％包括哪些内容？找到一份Java初级程序员的工作，有哪些是必须掌握的，有哪些是可以现学现卖的？一个完整的Javaweb项目，有...

秒杀系统实战(四)| 缓存与数据库双写一致性实战

前言微笑挖坑，努力填坑。————已经拥有黑眼圈，但还没学会小猪老师时间管理学的蛮三刀同学本文是秒杀系统的第四篇，我们来讨论秒杀系统中「缓存热点数据」的问题，进一步延伸到数据库和缓存的...

头条评论精灵翻牌子（头条评论精灵翻牌子怎么弄）

关于“头条评论精灵翻牌子”功能，这通常是指平台通过算法或运营手段，将用户的优质评论随机或定向推送到更显眼的位置（如信息流顶部、独立曝光位等），以提升互动率和用户参与感。以下是详细解析和建议：一、功能理...

15个程序员们都应该知道的大模型高级提示词指令模板和示例

作为程序员你如何写大模型指令？你写的指令是不是更专业呢？下面是15个程序员使用的专业的大模型指令，如果早知道可以能节省你很多时间。这些指令可以用在chatgpt,deepseek等大模型。1.一键...

MyBatis-Plus内置的主键生成策略有大坑，要注意!

昨天小伙伴使用Mybaits-Plus开发的项目线上（集群、K8S）出现了主键重复问题，其报错如下：Mybatis-Plus启动时会通过com.baomidou.mybatisplus.core.to...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表