【Oracle】Package 存储过程编写以及其他实用技术
mhr18 2024-09-17 23:21 21 浏览 0 评论
这篇文章是之前自己在公司的一篇技术分享,搬过来就不提供脚本了!
前段时间在处理生产异常时发现,测试数据库和仿真数据库已很久没有同步生产的清洗后数据和数据结构。开发人员在处理生产异常时往往要在测试或者仿真环境中重新模拟数据来进行场景复现,若需要以大量数据为基础进行复现时就比较痛苦了。
目前遇到这种情况还需要知会运维人员到生产数据库备份数据,先导出dmp再导入测试或仿真环境,之后还需要对数据进行敏感信息清洗。由于数据的特殊性,这个过程只能通过运维人员手动处理,非常容易出错且效果不理想(这里会涉及到一些blob字段无法导入到系统中,还有表空间不一致也影响导入的情况)。有鉴于此,我决定写一个同步存储过程实现自动化同步。
与一般的存储过程不一样,本次的存储过程是通过编写Oracle的Package(包头)和 Package Body(包体)来实现同步的。如下图:
其中TIMSSPRD_SYNC是数据库同步入口,而TIMSS_TABLE是同步表方法的入口。
之所以使用Package来编写存储过程的原因在于:
1. 对于程序员来说,Package/Package Body的写法更贴近于面向对象的开发理念(个人认为跟Java中的接口和接口实现类如出一辙);
2. Package内的方法可以重载,也可以存在多个同名的方法根据参数的个数或者参数的类型找到正确的方法;
3. Package可以被其他用户调用,是全局的方法;
4. Package既然是全局的,那当然也可以被授权咯(可以按需分批,那些用户可以用,那些用户不可以用);
先打开TIMSSPRD_SYNC,里面有一个TIMSS_SYNC_PRO的方法,里面有四个参数分别是OPER_SORT(同步类型)、OPER_TYPE(同步方式)、OPER_TABLE(同步表名)和OPER_PREFIX(同步前缀),如下图:
1. OPER_SORT(同步类型) :脚本将根据填入的内容去更新指定的类型信息
2. OPER_TYPE(同步方式) :是include(包含)还是exclude(排除)
3. OPER_TABLE(同步表名) :其实这个字段不单单是表名(因为现在只有表),这里应该是同步对象的名称
4. OPER_PREFIX(同步前缀) :同理,这里应该是同步对象的前缀
按照存储过程的逻辑,如果什么参数都不填的话会执行全类型更新(这无疑跟dmp方式一致,虽然基本不会用到但还是提供吧)。否则按照同步信息去判断需要调用的方法。OK,来到这里先告一段落,下面在看看TIMSS_TABLE这个Packages。
在TIMSS_TABLE中里面就是真正的执行方法共四个,分别是:ORGANIZE_DATA(整理数据)、CREATE_AND_BAK_TABLE(创建与备份表)、CREATE_TABLE_EXEC(执行创建表)和DROP_TABLE(表删除),如下图:
由于涉及到公司内部的同步逻辑,这四个方法的具体内容就不说了但在编写TIMSS_TABLE中用到了6个有用的存储过程知识想给各位分享一下:
1 使用自定义函数去对参数内容进行分割(Oracle是没有自带分割函数)
为了方便使用在网上抄了一个自定义函数_SPLITSTR(需要分割的字符串,分割字符)_,如下图:
这个函数最后是以管道(Pipelined)的方式返回,用一个虚拟的Table将其内容接住 ,如下图:
2 在存储过程中Exception异常捕获的使用
Begin
执行方法...
Exception When Others Then
异常处理信息...
End;
实际使用效果如下:
这能够更优雅地获取到存储过程中的异常信息。
3 采用Using进行赋值即使变量内容含特殊字符也不会抛错
4 Dbms_Lock.Sleep跟Java线程中Sleep用法一致
有时候某些操作是需要按顺序执行的,存储过程在模拟多线程处理(这个后面会进行分享如何将Oracle数据库模拟多线程操作)时太快很容易发生数据冲突,这时就需要用_Dbms_Lock.Sleep_方法让它暂停线程(不过这个_Dbms_Lock_的包需要管理员权限开放给需要的用户才可以使用,比较麻烦 )
5 使用Drop Table的时候加上Purge,可以减少表空间的消耗
因为Oracle是有闪回_(FlashBack)的功能的,平常删除的东西其实会存放在回收站(Recycle Bin)_里面不会被立即清除,这是为了方便闪回时恢复数据。所以一般Drop Table后虽然表已经删除了,但表空间是不会释放。为此这次存储过程需加上_Purge_来让这个表彻底删除(这里的处理逻辑是先创建好目标表后删除掉备份表)同时释放表空间。日常使用不建议使用这种方式,误操作后不能通过FlashBack恢复是非常危险的。
6 PL/SQL的Brower里面应是默认设置为“My Objects“
好几次看到同事们的PL/SQL一打开就是“All Objects”这样是非常危险的。如果用DBA的账号登陆你会发现目录树的每个节点都可以看到系统级别内容,像是什么 SYS.XXX开头的文件。万一不小心给删除掉了,那整个实例就完蛋了。建议都将自己的PL/SQL设置一下,哪怕你现在不需要用到DBA的账号也好,养成一个好习惯是没错的。
设置可以通过_Tools->Preferences->User Interface->Browser_点击_Filters..._按钮去进行设置,如下图:
坦白说,这个存储过程其实还存在很多问题,譬如大数据量同步的时候就不能使用这个存储过程了、DBlink本身也存在lob数据类型同步问题、存储过程内没有做同步信息记录(这个需要的话要后续跟进)......
相关推荐
- Java面试宝典之问答系列(java面试回答)
-
以下内容,由兆隆IT云学院就业部根据多年成功就业服务经验提供:1.写出从数据库表Custom中查询No、Name、Num1、Num2并将Name以姓名显示、计算出的和以总和显示的SQL。SELECT...
- ADG (Active Data Guard) 数据容灾架构下,如何配置 Druid 连接池?
-
如上图的数据容灾架构下,上层应用如果使用Druid连接池,应该如何配置,才能在数据库集群节点切换甚至主备数据中心站点切换的情况下,上层应用不需要变动(无需修改配置也无需重启);即数据库节点宕机/...
- SpringBoot多数据源dynamic-datasource快速入门
-
一、简介dynamic-datasourc是一个基于SpringBoot的快速集成多数据源的启动器,其主要特性如下:支持数据源分组,适用于多种场景纯粹多库读写分离一主多从混合模式。支持...
- SpringBoot项目快速开发框架JeecgBoot——项目简介及系统架构!
-
项目简介及系统架构JeecgBoot是一款基于SpringBoot的开发平台,它采用前后端分离架构,集成的框架有SpringBoot2.x、SpringCloud、AntDesignof...
- 常见文件系统格式有哪些(文件系统类型有哪几种)
-
PART.01常见文件系统格式有哪些常见的文件系统格式有很多,通常根据使用场景(Windows、Linux、macOS、移动设备、U盘、硬盘等)有所不同。以下是一些主流和常见的文件系统格式及其特点:一...
- Oracle MySQL Operator部署集群(oracle mysql group by)
-
以下是使用OracleMySQLOperator部署MySQL集群的完整流程及关键注意事项:一、部署前准备安装MySQLOperator通过Helm安装Operator到Ku...
- LibreOffice加入"转向Linux"运动
-
LibreOffice项目正准备削减部分Windows支持,并鼓励用户切换到Linux系统。自Oracle放弃OpenOffice后,支持和指导LibreOffice开发的文档基金会对未来有着明确的观...
- Oracle Linux 10发布:UEK 8.1、后量子加密、增强开发工具等
-
IT之家6月28日消息,科技媒体linuxiac昨日(6月27日)发布博文,报道称OracleLinux10正式发布,完全二进制兼容(binarycompatibility...
- 【mykit-data】 数据库同步工具(数据库同步工具 开源)
-
项目介绍支持插件化、可视化的数据异构中间件,支持的数据异构方式如下MySQL<——>MySQL(增量、全量)MySQL<——>Oracle(增量、全量)Oracle...
- oracle关于xml的解析(oracle读取xml节点的属性值)
-
有时需要在存储过程中处理xml,oracle提供了相应的函数来进行处理,xmltype以及相关的函数。废话少说,上代码:selectxmltype(SIConfirmOutput).extract...
- 如何利用DBSync实现数据库同步(通过dblink同步数据库)
-
DBSync是一款通用型的数据库同步软件,能侦测数据表之间的差异,能实时同步差异数据,从而使双方始终保持一致。支持各种数据库,支持异构同步、增量同步,且提供永久免费版。本文介绍其功能特点及大致用法,供...
- MYSQL存储引擎InnoDB(八十):InnoDB静态数据加密
-
InnoDB支持独立表空间、通用表空间、mysql系统表空间、重做日志和撤消日志的静态数据加密。从MySQL8.0.16开始,还支持为模式和通用表空间设置加密默认值,这允许DBA控制在这些模...
- JDK高版本特性总结与ZGC实践(jdk高版本兼容低版本吗)
-
美团信息安全技术团队核心服务升级JDK17后,性能与稳定性大幅提升,机器成本降低了10%。高版本JDK与ZGC技术令人惊艳,且JavaAISDK最低支持JDK17。本文总结了JDK17的主要...
- 4 种 MySQL 同步 ES 方案,yyds!(两个mysql数据库自动同步的方法)
-
本文会先讲述数据同步的4种方案,并给出常用数据迁移工具,干货满满!不BB,上文章目录:1.前言在实际项目开发中,我们经常将MySQL作为业务数据库,ES作为查询数据库,用来实现读写分离,...
- 计算机Java培训课程包含哪些内容?其实就这六大块
-
不知不觉秋天已至,如果你还处于就业迷茫期,不如来学习Java。对于非科班小白来说,Java培训会更适合你。提前了解下计算机Java培训课程内容,会有助于你后续学习。下面,我就从六个部分为大家详细介绍...
你 发表评论:
欢迎- 一周热门
- 最近发表
-
- Java面试宝典之问答系列(java面试回答)
- ADG (Active Data Guard) 数据容灾架构下,如何配置 Druid 连接池?
- SpringBoot多数据源dynamic-datasource快速入门
- SpringBoot项目快速开发框架JeecgBoot——项目简介及系统架构!
- 常见文件系统格式有哪些(文件系统类型有哪几种)
- Oracle MySQL Operator部署集群(oracle mysql group by)
- LibreOffice加入"转向Linux"运动
- Oracle Linux 10发布:UEK 8.1、后量子加密、增强开发工具等
- 【mykit-data】 数据库同步工具(数据库同步工具 开源)
- oracle关于xml的解析(oracle读取xml节点的属性值)
- 标签列表
-
- oracle位图索引 (74)
- oracle批量插入数据 (65)
- oracle事务隔离级别 (59)
- oracle 空为0 (51)
- oracle主从同步 (55)
- oracle 乐观锁 (51)
- redis 命令 (78)
- php redis (88)
- redis 存储 (66)
- redis 锁 (69)
- 启动 redis (66)
- redis 时间 (56)
- redis 删除 (67)
- redis内存 (57)
- redis并发 (52)
- redis 主从 (69)
- redis 订阅 (51)
- redis 登录 (54)
- redis 面试 (58)
- 阿里 redis (59)
- redis 搭建 (53)
- redis的缓存 (55)
- lua redis (58)
- redis 连接池 (61)
- redis 限流 (51)