百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

Oracle的listagg合并数据过多如何处理?

mhr18 2024-09-15 21:49 30 浏览 0 评论

1、oracle合并列语句执行

我们知道,mysql里面有列合并group_concat函数,可以将多行数据合并为一行。

Oracle中也有这样的函数,我们通常使用listagg进行合并。闻名不如一见,看一下吧!

我这里以批量查询存储过程内容为例。

使用您的SQLPLUS或者Datagrip等工具,执行如下SQL。

-- 批量查询所有的存储过程名称及内容
select
 NAME, -- 存储过程名称
 (listagg(TEXT) within group ( order by LINE)) CONTENT -- 存储过程内容,数据库是按行存储了,所以需要把每一行的数据合并起来,才是完整的脚本
from USER_SOURCE
where TYPE = 'PROCEDURE'
group by NAME;

2、在存储过程内容很少的情况下被良好执行,简直完美

我在一个脚本内容少和脚本内容多的数据库下,使用相同的神技(复制粘贴大法)去执行一下,结果或或许会有些出乎您的意料!

可以看到,listagg在内容较少时毫无问题,运行流畅,简直跟mysql的group_concat一毛一样,于是我们就这样放在测试环境去了。

但一上测试,就报了一堆错误,一看就是这个SQL执行出错了。于是我把SQL在新的环境执行了一次。给我报了个字符串太长的错误,什么鬼嘛。

3、在存储过程内容很多的情况下执行报错了?为什么?

[72000][12801] 
ORA-12801: 并行查询服务器 P001 中发出错误信号 
ORA-01489: 字符串连接的结果过长 
Position: 0

这个玩意一看错误就很明显了,就是结果太长了,属于oracle的限制,那么我们看看到底有多长,不看不知道,一看吓一跳。

直接去看了对应的存储过程,发现,fuck, 四五千行的存储过程还真不少,都是一些抽数的脚本,真是吓了我一跳!于是想到这个该怎么解决呢?

于是我四处搜寻,辗转反侧,费尽心思后终于找到了大家都想要的答案,就是使用xmlagg来查询。

4、如何解决listagg内容超过字符串长度错误(使用xmlagg)?

-- 批量查询所有的存储过程名称及内容
select
 NAME, -- 存储过程名称
 (XMLAGG(XMLELEMENT(e, TEXT, '').extract('//text()') order by line).getClobVal()) CONTENT -- 存储过程内容,数据库是按行存储了,所以需要把每一行的数据合并起来,才是完整的脚本
from USER_SOURCE
where TYPE = 'PROCEDURE'
group by NAME


这下查出来了,本以为可以安心睡个午觉,做个甜美的梦了。然后居然有人说查询来的脚本内容不对,我百思不得其姐,于是决定亲自看看脚本内容。

5、如何解决xmlagg查询结果中被转义的字符(替换对应字符即可)

我咋一看,这些个符号是啥玩意啊,真是扯淡,oracle这都不给我处理好吗,原来是XML对这些特殊符号做了处理,真的是头痛如麻(吐槽了一句,垃圾XML),却也无可奈何。毕竟还得继续工作,养家糊口的压力在肩上担着,不可大意,继续改。

于是我把这些符号都给替换掉了。

< < 小于号
> > 大于号
& & 和
' ' 单引号
" " 双引号 

于是我的代码中多了如下一段代码

真狗啊,一个小小的功能折腾了我好几次,感觉头发都情不自禁的掉了几根。所以为了保住大家的头发,必须记录下来,因为自己淋过雨,才想为他人撑伞,记录是美好的习惯。

6、小结

主要记录了如何批量查询所有的存储过程内容(效率比逐个查询快很多),使用listagg合并脚本内容时,内容过多如何处理,就是使用xmlagg处理。而xmlagg查询的结果对特殊字符做了转义操作,需要我们在程序中将对应的转义符给替换掉。

相关推荐

C++开发必知的内存问题及常用的解决方法-经典文章

1.内存管理功能问题由于C++语言对内存有主动控制权,内存使用灵活和效率高,但代价是不小心使用就会导致以下内存错误:omemoryoverrun:写内存越界odoublefree:同一块内...

缓存用不好,系统崩得早!10条军规让你成为缓存高手

凌晨三点,我被电话惊醒:“苏工!首页崩了!”监控显示:缓存命中率0%,数据库QPS10万+,线程阻塞2000+。根本原因竟是同事没加缓存!不会用缓存的程序员,就像不会刹车的赛车手——...

彻底搞清楚内存泄漏的原因,如何避免内存泄漏,如何定位内存泄漏

作为C/C++开发人员,内存泄漏是最容易遇到的问题之一,这是由C/C++语言的特性引起的。C/C++语言与其他语言不同,需要开发者去申请和释放内存,即需要开发者去管理内存,如果内存使用不当,就容易造成...

Java中间件-Memcached(Java中间件大全)

一、知识结构及面试题目分析缓存技术的大规模使用是互联网架构区别于传统IT技术最大的地方,是整体高并发高性能架构设计中是重中之重的关键一笔,也是互联网公司比较偏好的面试题目。按照在软件系统中所处位置...

linux内存碎片防治技术(linux内存碎片整理)

推荐视频:90分钟了解Linux内存架构,numa的优势,slab的实现,vmalloc原理剖析Linux内核内存分配与回收Linuxkernel组织管理物理内存的方式是buddysystem(伙...

Redis主从架构详解(redis主从配置详细过程)

Redis主从架构搭建Redis主节点配置创建主节点目录(/opt/redis-master),复制redis.conf到该目录下,redis.conf配置项修改#后台启动daemonizeyes...

揭开CXL内存的神秘面纱(内存c1)

摘要:现代数据中心对内存容量的高需求促进了内存扩展和分解方面的多条创新线,其中一项获得极大关注的工作是基于ComputeeXpressLink(CXL)的内存扩展。为了更好地利用CXL,研究人员建...

一文彻底弄懂 TPS RPS QPS(tps cps)

以下是关于RPS、QPS、TPS的核心区别与关联的总结,结合实际场景和优化建议:一、核心定义与区别RPS:RequestsPerSecond每秒请求数客户端到服务器的完整请求数量Web服务...

用Redis的“集合”找出你和朋友的“共同关注”

你是不是在刷抖音、微博、小红书的时候,常常会看到这样的提示:“你和XXX有共同关注的博主/朋友”?或者当你关注了一个新的明星,系统会推荐“你的朋友YYY也关注了这位明星”?这个看似简单的功能背后,其实...

WOT2016彭哲夫:科班出身开发者对运维人员的期许

“运维与开发”是老生常谈的话题,前几天和一个运维人聊天,TA说一些公司运维岗位都不公开招聘了,这让众多运维人员情何以堪?是运维的岗位真的饱和了?是找到合适的运维人才难?还是有这样那样的因素?带着这些疑...

Java程序员最常用的20%技术总结(java程序员要掌握什么)

我听说编程语言,经常使用的是其中20%的技术。在Java这门语言中,这20%包括哪些内容?找到一份Java初级程序员的工作,有哪些是必须掌握的,有哪些是可以现学现卖的?一个完整的Javaweb项目,有...

秒杀系统实战(四)| 缓存与数据库双写一致性实战

前言微笑挖坑,努力填坑。————已经拥有黑眼圈,但还没学会小猪老师时间管理学的蛮三刀同学本文是秒杀系统的第四篇,我们来讨论秒杀系统中「缓存热点数据」的问题,进一步延伸到数据库和缓存的...

头条评论精灵翻牌子(头条评论精灵翻牌子怎么弄)

关于“头条评论精灵翻牌子”功能,这通常是指平台通过算法或运营手段,将用户的优质评论随机或定向推送到更显眼的位置(如信息流顶部、独立曝光位等),以提升互动率和用户参与感。以下是详细解析和建议:一、功能理...

15个程序员们都应该知道的大模型高级提示词指令模板和示例

作为程序员你如何写大模型指令?你写的指令是不是更专业呢?下面是15个程序员使用的专业的大模型指令,如果早知道可以能节省你很多时间。这些指令可以用在chatgpt,deepseek等大模型。1.一键...

MyBatis-Plus内置的主键生成策略有大坑,要注意!

昨天小伙伴使用Mybaits-Plus开发的项目线上(集群、K8S)出现了主键重复问题,其报错如下:Mybatis-Plus启动时会通过com.baomidou.mybatisplus.core.to...

取消回复欢迎 发表评论: