百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

【Oracle】亿级表下in查询替代方案

mhr18 2024-09-26 14:21 21 浏览 0 评论

文中使用的Oracle版本为10g。

在真实的业务场景中往往很难避免有“in”条件查询的时候,但我们都知道用“in”做条件查询时SQL是一般不会走索引(某些新版数据库除外),那如果“in”含大量条件甚至超过1000条该怎么办呢(大部分数据库在基于性能方面考虑限制了“in”条件不能超过1000个)?下面将结合一个例子,给各位详述我的解决方案。

后台输出截获的SQL脚本如下(因可能涉及敏感信息,为此将部分字段表述进行转换):

SELECT *
  FROM (SELECT SHOWDATA.*, ROWNUM RN
          FROM (SELECT DISTINCT A.OWNER_PHONE,
                                GP.NAME,
                                A.CALLTYPE AS CALLEDTYPE,
                                A.TRANS_PHONE,
                                A.TRANS_NAME NAMES,
                                A.TRANS_CALLED_INFO,
                                TO_CHAR(A.TRANS_STARTTIME,'yyyy-mm-dd HH24:mi:ss') AS TRANS_STARTTIME,
                                TO_CHAR(A.TRANS_STARTTIME, 'HH24') TRANS_HH,
                                A.TRANS_DURATION,
                                A.AR,
                                A.LAC,
                                A.CS,
                                A.LN,
                                A.CB,
                                A.CL,
                                A.CC,
                                A.CA,
                                A.OI,
                                A.CI,
                                A.TL,
                                A.TLA,
                                A.TCL,
                                A.TCLA,
                                A.TA,
                                A.ISR,
                                A.ISO
                 FROM GPB A
                 INNER JOIN GPBI GP ON A.PBII = GP.ID
                 WHERE A.IS = 0
                   AND A.TRANS_STARTTIME BETWEEN
                       TO_DATE('2015-09-09 00:00:00', 'YYYY-MM-DD HH24:MI:SS') AND
                       TO_DATE('2016-09-09 00:00:59', 'YYYY-MM-DD HH24:MI:SS')
                   AND A.OWNER_PHONE IN (15000000000, 15100000000, 15200000000, ...)
                 ORDER BY TRANS_STARTTIME DESC nulls last) 
		SHOWDATA)
 WHERE RN > 0 AND RN <= 100

以上SQL有好几处地方可以优化但性能瓶颈在于“in”查询。以上看到的脚本内容是经过性能排查后截录的脚本片段,真实的脚本足够翻好几页(真想不明白之前写这个脚本的人是怎么想的)。

言归正传,这语句给我感觉:
1) 查询条件受到限制,最多只能查询1000个手机号码;
2) 由于使用“in”查询,这里OWNER_PHONE字段不能使用索引;
3) ORDER BY在完成“in”操作后还需进行一次全表扫描排序,这个也是另一个性能消耗点;
4) 最讽刺的是GPB 和 GPBI两个表前者是亿级表,后者是万级表,在INNER JOIN后最终只需要展示前100条数据,这前面大量运算有点浪费;

既然这样先将“in”查询问题先解决,这里我分成3步:

1. 建立一个TYPES(tabletype)

这个TYPE是一个TABLE类型的,代码如下:

CREATE OR REPLACE TYPE TABLETYPE AS TABLE OF VARCHAR2(32676);

2. 建立自定义函数STRSPLIT以PIPE ROW返回

不说废话,上代码:

CREATE OR REPLACE FUNCTION STRSPLIT (p_list CLOB, p_sep VARCHAR2 := ',')
    RETURN tabletype
    PIPELINED
 IS
    l_idx    PLS_INTEGER;
    v_list   VARCHAR2 (32676) := trim(replace(p_list,chr(10),''));
 BEGIN
    LOOP
       l_idx   := INSTR (v_list, p_sep);

       IF l_idx > 0
       THEN
          PIPE ROW (SUBSTR (v_list, 1, l_idx - 1));
          v_list   := SUBSTR (v_list, l_idx + LENGTH (p_sep));
       ELSE
          PIPE ROW (v_list);
          EXIT;
       END IF;
    END LOOP;
 END;

这个关于Oracle的字符串分割函数网上一搜一大把,各位酌情参考就可以了。函数生成后通过:

SELECT * FROM TABLE(STRSPLIT(‘A,B,C,D,E’)); 

得到一个虚拟的表。

3. 改造原SQL脚本

SELECT *
  FROM (SELECT SHOWDATA.*, ROWNUM RN
          FROM (SELECT DISTINCT A.OWNER_PHONE,
                                GP.NAME,
                                A.CALLTYPE AS CALLEDTYPE,
                                A.TRANS_PHONE,
                                A.TRANS_NAME NAMES,
                                A.TRANS_CALLED_INFO,
                                TO_CHAR(A.TRANS_STARTTIME,'yyyy-mm-dd HH24:mi:ss') AS TRANS_STARTTIME,
                                TO_CHAR(A.TRANS_STARTTIME, 'HH24') TRANS_HH,
                                A.TRANS_DURATION,
                                A.AR,
                                A.LAC,
                                A.CS,
                                A.LN,
                                A.CB,
                                A.CL,
                                A.CC,
                                A.CA,
                                A.OI,
                                A.CI,
                                A.TL,
                                A.TLA,
                                A.TCL,
                                A.TCLA,
                                A.TA,
                                A.ISR,
                                A.ISO
                 FROM GPB A
                 INNER JOIN GPBI GP ON A.PBII = GP.ID
                 INNER JOIN (
                   SELECT INN.COLUMN_VALUE AS IN_DATA
        							FROM (SELECT '' AS COLUMN_VALUE FROM DUAL WHERE 1 > 2
              								UNION ALL
              							    SELECT * FROM TABLE(STRSPLIT('15000000000,15100000000,...'))
              								UNION ALL
              							    SELECT * FROM TABLE(STRSPLIT('15200000000,15300000000,...'))
              								UNION ALL
              							    ......
      								) INN
      						) B ON A.OWNER_PHONE = B.IN_DATA
                 WHERE A.IS = 0
                   AND A.TRANS_STARTTIME BETWEEN
                       TO_DATE('2015-09-09 00:00:00', 'YYYY-MM-DD HH24:MI:SS') AND
                       TO_DATE('2016-09-09 00:00:59', 'YYYY-MM-DD HH24:MI:SS')
                   AND A.OWNER_PHONE IN (15000000000, 15100000000, 15200000000, ...)
                 ORDER BY TRANS_STARTTIME DESC nulls last) 
		SHOWDATA)
 WHERE RN > 0 AND RN <= 100

这里用虚拟表进行内连接可以代替“in”操作,SELECT … UNION ALL 这部分内容通过MyBatis进行循环拼接也是可以实现的。由于不想在字符串末尾再删除UNION ALL字符,因此在查询开头加上一个查询DUAL表的操作并判断1>2即可。
动态条件内容将在Java内进行原数据的重组。Oracle自定义函数中参数内容不能太长(函数字段有长度限制),因此在Java中进行字符串长度限制分割,分割内容将保存到集合(List)中,通过参数传入DAO并在MyBatis中进行循环二次拼接。
这种方法无论需要“in”条件是多少,即使个数超过1000的情况下也是可以查询的,同时OWNER_PHONE字段可走索引。
具体查询性能对比如下:

改造前

改造后

同样是查询前100条数据,前者是16.475秒,而后者是1.841秒,可以看出查询速度的差异。
最后附上Java和MyBatis的代码,如下图:


这根据长度切割数据集的代码虽然不影响使用但有待改进ε=(′ο`*)))唉。

至于MyBatis就还是那样了。

相关推荐

一文带您了解数据库的行列之争:行式与列式存储的异同

数据库存储格式是数据库管理系统中一个至关重要的方面,它直接影响到数据的组织和检索效率。在数据库中,有两种主要的存储格式,即行式存储和列式存储。这两者采用截然不同的方法来组织和存储数据,各自具有一系列优...

NL2SQL(三)开源项目怎么选:talk is cheap, show me the code!

老规矩,先看效果下面的demo来自试用的SuperSonic,将会在下面详细介绍:大模型时代Text-to-SQL特点随着基于LLM技术的发展,RAG/AIAgent/Fine...

JDK25长期支持版九月降临:18项王炸功能全解析

Java要放大招啦!9月份推出的JDK25长期支持版已经锁定18个超能力,从稳定值到结构化并发,还有Linux系统下的"预知未来"性能分析!下面我用打游戏的术语给你们掰扯明白:1、飞...

OceanBase 推出单机版 高度兼容MySQL和Oracle

【环球网科技综合报道】3月27日,独立数据库厂商OceanBase正式发布单机版产品。据悉,这一产品基于自主研发的单机分布式一体化架构设计,具备极简数据库架构和高度兼容性,为中小规模业务提供兼具性能与...

黄远邦:应对7月1日闰秒对Oracle数据库影响

由于今年7月1日全世界会多出一秒,这可能对时间敏感的IT系统造成较大影响。中亦科技数据库团队对此问题做了深入的研究,并对用户系统提出了相应的解决方法及建议。中亦科技数据库产品总监黄远邦认为,闰秒调整会...

MySQL数据库密码忘记了,怎么办?(mysql 数据库密码)

#头条创作挑战赛#MySQL数据库密码忘记了且没有其他可以修改账号密码的账户时怎么办呢?登录MySQL,密码输入错误/*密码错误,报如下错误*/[root@TESTDB~]#mysql-u...

Chinese AI Talent in Spotlight as Nvidia and Meta Escalate Talent War

OntherightisBanghuaZhu,ChiefResearchScientistatNVIDIATMTPOST--SiliconValley’stoptech...

用Cursor开启JAVA+AI生涯(javascirpt怎么开启)

Cursor是基于VSCode开发的一款编辑器,支持多种语言的开发编辑。与传统的开发工具相比,它有多种优势:与AI无缝集成,响应速度快,占用内存小。但很多同学在"起步"过程中遇到了...

毕业十年了,自从做了开发用了很多软件,但距离写开发工具还很远

办公系统类:办公软件Word、Excel、PowerPoint三大必备技能+腾讯/金山在线文档解压缩操作:7-zip/winrar文件文本处理:Notepad++(文本编辑器正则表达式超级好...

盘点Java中最没用的知识⑤:这3个老古董你还在代码里“考古”?

一、Stack类:“继承Vector”的历史bug,为何成了性能拖油瓶?你是不是在学Java集合时,老师说过“栈结构用Stack类”?是不是在老代码里见过"newStack<>(...

Gemini 2.5 Pro 0506发布,编程最强大模型, 碾压 Claude3.7 sonnent

一、Gemini2.5Pro(I/Oedition)发布1、为何叫I/Oedition?谷歌史上最强编程模型Gemini2.5Pro(I/Oedition)发布,具体型号是Gemin...

如何让无聊变得有趣(附本人大量美图)

文/图:金冬成在这条长300公里的公路上,我已经来回往返了无数次。3小时车程,一个人,想想都是多么无聊的一件事。其实,人生道路上,类似这种无聊的事情有很多很多。无聊的事情、枯燥的工作,往往让我们容易失...

Oracle 推出 Java 24,增强 AI 支持和后量子加密

导读:Oracle宣布正式发布Java24,该语言增加了几个新功能,例如StreamGatherersAPI和Class-FileAPI的可用性,以及专门为AI推理和量子安全设计...

公司ERP突然变慢?“索引重建”这颗“药”可不能随便吃!

各位老板、IT小哥、财务小姐姐,有没有遇到过公司ERP系统突然卡顿得像“老爷车”,点个按钮半天没反应,急得直跺脚?这时候,可能有人会跳出来说:“我知道,重建一下数据库索引就好了!”听起来像个“神操作”...

基于Java实现,支持在线发布API接口读取数据库,有哪些工具?

基于java实现,不需要编辑就能发布api接口的,有哪些工具、平台?还能一键发布、快速授权和开放提供给第三方请求调用接口的解决方案。架构方案设计:以下是一些基于Java实现的无需编辑或只需少量编辑...

取消回复欢迎 发表评论: