从 TPCH 测试学习性能优化技巧之 Q13
mhr18 2024-10-03 22:52 31 浏览 0 评论
从 TPCH 测试学习性能优化技巧之 Q13
一、 查询要求
Q13语句查询获得消费者的订单数量，包括过去和现在都没有订单记录的消费者。
Q13语句的特点是：带有分组、排序、聚集、子查询、左外连接操作并存的查询操作。
二、 Oracle执行
Oracle编写的查询SQL语句如下：
select /*+ parallel(n) */
c_count,
count(*) as custdist
from (
select
c_custkey,
count(o_orderkey) c_count
from
customer left outer join orders on
c_custkey = o_custkey
and o_comment not like '%special%accounts%'
group by
c_custkey
) c_orders
group by
c_count
order by
custdist desc,
c_count desc;
其中/*+ parallel(n) */ 是Oracle的并行查询语法，n是并行数。
脚本执行时间，单位：秒
三、 SPL优化
这个查询简单看是对orders做两轮常规分组，第一轮按custkey分组计算出每个顾客的下单数，第二轮再按下单数分组计算出每种下单数各有多少顾客。
注意到原SQL中有个左连接，会将没有下单过的顾客（下单数为0）也统计在内，而上述二轮分组过程则会遗漏掉这些数据，需要事后再补充一下。
SPL脚本如下：
A5做第一轮分组，A7做第二轮；A8计算所有客户数，减去已下单的就是没下单的客户数，补充到A7上再一起排序。
脚本执行时间，单位：秒
这个查询SPL没有跑过Oracle，绝大部分时间消耗在第一轮分组（A5）。主要原因在于这里的分组结果集较大，会占用很多内存，而SPL目前还是Java开发，JVM对内存的管理较差，占用内存较多时就会频繁发起垃圾收集动作，消耗很多时间。而C++开发的数据库则没有这个问题。
四、 进一步优化
SPL中groups函数在分组时，如果分组字段是序号，那么可以用@n选项直接定位，避免hash计算。本例中第一轮按O_CUSTKEY分组的，而在数据表中O_CUSTKEY都是整数，可以尝试@n选项。但本例中O_CUSTKEY的值较大，也就是分组数多，占用内存大，并行线程多时如果每个线程中都分一个大组，内存将不够用，所以并行数多时，要减少groups@n的并行数。本例中使用的方法是并行数小于3时就用原并行数，大于3时就用它整除4所得的商。
SPL脚本如下：
脚本执行时间，单位：秒
测试结果可见，效率确实有所提高，在低并行时性能超过了Oracle，高并行时因为内存占用过大导致垃圾收集时间消耗过多而又被Oracle反超。
友乾营是专注数据技术的知识分享平台。这里，你将有机会与近百位技术专家共同沟通交流，寻找优势互补，达成资源对接。另外，友乾营将定期（每两周一次，周三晚19:30）安排专题技术直播活动。
欢迎IT从业者或对数据相关技术感兴趣的人员入群交流、分享。共同打造“有热度的话题，有温度的情感，有深度的思想，有高度的评论”高品质的友乾营社群。
识别下面二维码，在页面上加友乾营小助手为好友
相关推荐
- SpringBoot 各种分页查询方式详解(全网最全)
-
一、分页查询基础概念与原理1.1什么是分页查询分页查询是指将大量数据分割成多个小块（页）进行展示的技术，它是现代Web应用中必不可少的功能。想象一下你去图书馆找书，如果所有书都堆在一张桌子上，你很难...
- 《战场兄弟》全事件攻略 一般事件合同事件红装及隐藏职业攻略
-
《战场兄弟》全事件攻略，一般事件合同事件红装及隐藏职业攻略。《战场兄弟》事件奖励，事件条件。《战场兄弟》是OverhypeStudios制作发行的一款由xcom和桌游为灵感来源，以中世纪、低魔奇幻为...
- LoadRunner（loadrunner录制不到脚本）
-
一、核心组件与工作流程LoadRunner性能测试工具-并发测试-正版软件下载-使用教程-价格-官方代理商的架构围绕三大核心组件构建，形成完整测试闭环：VirtualUserGenerator(...
- Redis数据类型介绍（redis 数据类型）
-
介绍Redis支持五种数据类型：String（字符串），Hash（哈希），List（列表），Set（集合）及Zset(sortedset：有序集合)。1、字符串类型概述1.1、数据类型Redis支持...
- RMAN备份监控及优化总结（rman备份原理）
-
今天主要介绍一下如何对RMAN备份监控及优化，这里就不讲rman备份的一些原理了，仅供参考。一、监控RMAN备份1、确定备份源与备份设备的最大速度从磁盘读的速度和磁带写的带度、备份的速度不可能超出这两...
- 备份软件调用rman接口备份报错RMAN-06820 ORA-17629 ORA-17627
-
一、报错描述:备份归档报错无法连接主库进行归档，监听问题12541RMAN-06820:WARNING:failedtoarchivecurrentlogatprimarydatab...
- 增量备份修复物理备库gap（增量备份恢复数据库步骤）
-
适用场景：主备不同步，主库归档日志已删除且无备份.解决方案：主库增量备份修复dg备库中的gap.具体步骤：1、停止同步>alterdatabaserecovermanagedstand...
- 一分钟看懂，如何白嫖sql工具（白嫖数据库）
-
如何白嫖sql工具？1分钟看懂。今天分享一个免费的sql工具，毕竟现在比较火的NavicatDbeaverDatagrip都需要付费才能使用完整功能。幸亏今天有了这款SQLynx，它不仅支持国内外...
- 「开源资讯」数据管理与可视化分析平台，DataGear 1.6.1 发布
-
前言数据齿轮（DataGear）是一款数据库管理系统，使用Java语言开发，采用浏览器/服务器架构，以数据管理为核心功能，支持多种数据库。它的数据模型并不是原始的数据库表，而是融合了数据库表及表间关系...
- 您还在手工打造增删改查代码么，该神器带你脱离苦海
-
作为Java开发程序，日常开发中，都会使用Spring框架，完成日常的功能开发；在相关业务系统中，难免存在各种增删改查的接口需求开发。通常来说，实现增删改查有如下几个方式：纯手工打造，编写各种Cont...
- Linux基础知识（linux基础知识点及答案）
-
系统目录结构/bin：命令和应用程序。/boot：这里存放的是启动Linux时使用的一些核心文件，包括一些连接文件以及镜像文件。/dev：dev是Device(设备)的缩写,该目录...
- PL/SQL 杂谈(二)（pl/sql developer使用）
-
承接（一）部分。我们从结构和功能这两个方面展示PL/SQL的关键要素。可以看看PL/SQL的优雅的代码。写出一个好的代码，就和文科生写出一篇优秀的作文一样，那么赏心悦目。1、与SQL的集成PL/S...
- 电商ERP系统哪个好用?（电商erp哪个好一点）
-
电商ERP系统哪个好用？做电商的，谁还没被ERP折腾过？有老板说：“我们早就上了ERP，订单、库存、财务全搞定，系统用得飞起。”也有运营吐槽：“系统是上了，可库存老不准，订单漏单错单天天有，财务对账还...
- 汽车检测线系统实例，看集中控制与PLC分布控制
-
PLC可编程控制器，上个世纪70年代初，为取代早期继电器控制线路，开始采取存储指令方式，完成顺序控制而设计的。开始仅有逻辑运算、计时、计数等简单功能。随着微处理的发展，PLC可编程能力日益提高，已经能...
- 苹果五件套成公司年会奖品主角，几大小技巧教你玩转苹果新品
-
钱江晚报·小时新闻记者张云山随着春节的临近，各家大公司的年会又将陆续上演。上周，各大游戏公司的年会大奖，苹果五件套又成了标配。在上海的游戏公司中，莉莉丝奖品列表拉得相当长，从特等奖到九等奖还包含了特...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- oracle位图索引 (63)
- oracle批量插入数据 (62)
- oracle事务隔离级别 (53)
- oracle 空为0 (50)
- oracle主从同步 (55)
- oracle 乐观锁 (51)
- redis 命令 (78)
- php redis (88)
- redis 存储 (66)
- redis 锁 (69)
- 启动 redis (66)
- redis 时间 (56)
- redis 删除 (67)
- redis内存 (57)
- redis并发 (52)
- redis 主从 (69)
- redis 订阅 (51)
- redis 登录 (54)
- redis 面试 (58)
- 阿里 redis (59)
- redis 搭建 (53)
- redis的缓存 (55)
- lua redis (58)
- redis 连接池 (61)
- redis 限流 (51)