百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

想要提升SQL查询性能?这6个SQL陷阱一定要避开!

mhr18 2024-12-23 10:59 21 浏览 0 评论

SQL是一种便捷的数据管理和查询方式,数据库开发者们无论使用SQL Server、Oracle、MySQL、PostgreSQL还是SQLite,都经常会面临相似的问题:在处理大量数据、查询复杂逻辑等业务场景时,编写性能不佳、浪费系统资源的查询语句,导致数据库运行缓慢。

下面介绍6个常见的SQL陷阱,看看你中招了吗?

  • 盲目复用查询;
  • 嵌套视图;
  • 在单个事务中运行大型多表操作;
  • 在GUID或其他“不稳定”列上进行聚类;
  • 使用触发器;
  • 使用否定搜索


1,盲目复用查询

通常我们会为特定的检索任务创建SQL查询语句,以获取所需的数据。

然而,盲目复用查询可能导致获取不必要的大量数据,对性能和资源造成负担。

在复用查询语句之前,请确保它恰当并修改以适应新的场景。

情景:

假设我们有一个查询,用于检索公司名为“maicong”的用户全部信息:

SELECT * FROM users WHERE company = 'maicong';

现在,我们在另一个场景下想获取公司名为“maicong”的用户id、姓名和邮件,而不是用户的全部信息。

反面情景:

直接复用上述查询,这样我们实际会获取比需要更多的数据,这会导致:

性能问题: 获取了不必要的数据可能会导致查询变慢,尤其是当用户表很大时。

资源浪费: 返回的数据中包含了很多不需要的字段,浪费了网络带宽和数据库系统资源。

正面情景:

应该仔细审查要复用的查询,只选择新场景下所需的字段:

SELECT user_id, user_name, email FROM users WHERE company = 'maicong';


2,嵌套视图

虽然视图为查看数据提供了标准方式,但在查询中使用其他试图可能导致查询不必要的数据,并难以优化生成的查询。避免嵌套视图,直接从需要的视图中选择列,以提高查询性能。

情景:

假设有两个视图:employee_info 和 department_info,需要查询员工信息:

正面情景(不使用嵌套视图)

SELECT employee_id, firstname, lastname, departmentname
FROM employee_info
JOIN department_info ON employee_info.department_id = department_info.department_id;

这个查询直接从基础视图中选择所需的列,而不使用嵌套视图。

反面情景(使用嵌套视图)

SELECT employee_id, firstname, lastname, departmentname
FROM (SELECT * FROM employee_info) AS e
JOIN (SELECT * FROM department_info) AS d ON e.department_id = d.department_id;

这个查询中嵌套了两个视图,尽管它看起来完成了相同的任务,但可能会导致检索大量不必要的数据,增加系统负担,也不利于优化




3,在单个事务中运行大型多表操作

当需要在某次查询中,从多个表中删除数据时,避免在单个事务中直接删除所有表上的目标数据。最好分别处理每个表的操作。

如果是跨表查询时要求原子性操作,可以将其拆分成许多较小的事务。

例如,如果有10,000行需要在20个表中删除,可以在一个事务中删除前20个表中的第一千行,然后在另一个事务中删除下一个一千行,依此类推。

正面情景

分别处理每个表的删除操作,例如,假设有表 Table1, Table2, ..., Table10

-- Transaction 1
BEGIN TRANSACTION;
DELETE FROM Table1 WHERE company = 'maicong';
-- ...
COMMIT;

-- Transaction 2
BEGIN TRANSACTION;
DELETE FROM Table2 WHERE company = 'maicong';
-- ...
COMMIT;

-- ...

-- Transaction 10
BEGIN TRANSACTION;
DELETE FROM Table10 WHERE company = 'maicong';
-- ...
COMMIT;

反面情景

不推荐的做法:将所有表的删除操作放在一个事务中——这可能导致性能问题和资源争夺。

BEGIN TRANSACTION;
DELETE FROM Table1 WHERE company = 'maicong';
-- ...
DELETE FROM Table2 WHERE company = 'maicong';
-- ...
-- ...
DELETE FROM Table10 WHERE company = 'maicong';
-- ...
COMMIT;




4,在GUID或其他“不稳定”列上进行聚类

GUID(全局唯一标识符)是用于给对象赋予一些独特标识符的16字节随机数。由于GUID的随机性,这会导致表的物理排列变得高度碎片化,使得表操作变得非常慢。所以,要避免在具有大量随机性的列上聚类,最好使用日期或ID列。

情景

假设有一个数据库表 users,其中有一个列是user_id,它是GUID类型,用于唯一标识每个用户。

不稳定列上的错误聚类

-- 错误示例:按照user_id(GUID)列进行聚类

CREATE CLUSTERED INDEX IX_user_id ON users(user_id);

理想的聚类列

-- 正确示例:按照稳定的日期列进行聚类

CREATE CLUSTERED INDEX IX_created_date ON users(created_date);




5,使用触发器

当我们使用触发器(triggers)时,它们会在某个数据库表上发生特定的事件时自动执行,例如插入、更新或删除记录。虽然触发器在某些情况下很方便,但必须在与触发它们的原始数据库操作相同的事务中发生。这意味着如果你在修改一个表的同时,触发器需要对另一个表进行修改,那么这两个表将被锁定,直到触发器完成执行。特别是在处理大量数据时,这将会导致性能问题。

示例:

使用触发器的情况

假设有两个表,orders 表和 order_history 表。每当在 orders 表中插入一条新记录时,我们希望触发器将相应的信息插入 order_history 表中。

-- 创建一个在插入 orders 表时触发的触发器
CREATE TRIGGER tr_orderInserted
ON orders
AFTER INSERT
AS
BEGIN
		-- 在 order_history 表中插入相应的信息
		INSERT INTO order_history (order_id, order_date, customer_id)
		SELECT order_id, order_date, customer_id
		FROM inserted;
END;

上述触发器会在 orders 表中插入新记录后,将相应的信息插入 order_history 表中。但请注意,这个操作会在同一个事务中执行,因此在触发器完成之前,orders 表和 order_history 表都会被锁定。

更好的解决方案

如果触发器可能会导致锁定超过可容忍的资源,而且你可以在多个事务中执行触发器的操作,那么存储过程可能是更好的选择。存储过程允许你在多个事务中执行类似触发器的操作,而不会导致两个表在同一个事务中被锁定。

-- 创建一个存储过程,在其中执行与触发器相似的操作
CREATE PROCEDURE pr_orderInserted
    @order_id INT,
    @order_date DATE,
    @customer_id INT
AS
BEGIN
    -- 在 order_history 表中插入相应的信息
		INSERT INTO order_history (order_id, order_date, customer_id)
		VALUES (@order_id, @order_date, @customer_id);
END;

这样的存储过程可以在需要的时候被调用,而不会像触发器那样自动在同一个事务中执行。




6,进行否定搜索

避免使用否定搜索,例如SELECT * FROM users WHERE users_status <> 2 这样的查询时,这个查询会返回所有 users 表中状态不等于2的用户,尽管 users_status 上可能有索引,但由于查询条件是不等于,数据库可能会选择执行表扫描,而不是有效使用索引,特别是当表中有大量数据时。

更好的解决方案

更好的解决方案是编写查询,使其能够有效地使用覆盖索引。例如,可以使用 IN 子查询来实现,如下所示:

-- 使用覆盖索引的查询,排除状态为2的用户
SELECT * FROM users 
WHERE user_id NOT IN (SELECT users_id FROM users WHERE users_status = 2);

这个查询有效地使用了 users_id和 users_status 列上的索引,而不需要执行整个表的扫描。通过使用 NOT IN 子查询,我们可以从索引中剔除我们不想要的内容,提高查询效率。这对于大型数据集尤其重要。

相关推荐

C++开发必知的内存问题及常用的解决方法-经典文章

1.内存管理功能问题由于C++语言对内存有主动控制权,内存使用灵活和效率高,但代价是不小心使用就会导致以下内存错误:omemoryoverrun:写内存越界odoublefree:同一块内...

缓存用不好,系统崩得早!10条军规让你成为缓存高手

凌晨三点,我被电话惊醒:“苏工!首页崩了!”监控显示:缓存命中率0%,数据库QPS10万+,线程阻塞2000+。根本原因竟是同事没加缓存!不会用缓存的程序员,就像不会刹车的赛车手——...

彻底搞清楚内存泄漏的原因,如何避免内存泄漏,如何定位内存泄漏

作为C/C++开发人员,内存泄漏是最容易遇到的问题之一,这是由C/C++语言的特性引起的。C/C++语言与其他语言不同,需要开发者去申请和释放内存,即需要开发者去管理内存,如果内存使用不当,就容易造成...

Java中间件-Memcached(Java中间件大全)

一、知识结构及面试题目分析缓存技术的大规模使用是互联网架构区别于传统IT技术最大的地方,是整体高并发高性能架构设计中是重中之重的关键一笔,也是互联网公司比较偏好的面试题目。按照在软件系统中所处位置...

linux内存碎片防治技术(linux内存碎片整理)

推荐视频:90分钟了解Linux内存架构,numa的优势,slab的实现,vmalloc原理剖析Linux内核内存分配与回收Linuxkernel组织管理物理内存的方式是buddysystem(伙...

Redis主从架构详解(redis主从配置详细过程)

Redis主从架构搭建Redis主节点配置创建主节点目录(/opt/redis-master),复制redis.conf到该目录下,redis.conf配置项修改#后台启动daemonizeyes...

揭开CXL内存的神秘面纱(内存c1)

摘要:现代数据中心对内存容量的高需求促进了内存扩展和分解方面的多条创新线,其中一项获得极大关注的工作是基于ComputeeXpressLink(CXL)的内存扩展。为了更好地利用CXL,研究人员建...

一文彻底弄懂 TPS RPS QPS(tps cps)

以下是关于RPS、QPS、TPS的核心区别与关联的总结,结合实际场景和优化建议:一、核心定义与区别RPS:RequestsPerSecond每秒请求数客户端到服务器的完整请求数量Web服务...

用Redis的“集合”找出你和朋友的“共同关注”

你是不是在刷抖音、微博、小红书的时候,常常会看到这样的提示:“你和XXX有共同关注的博主/朋友”?或者当你关注了一个新的明星,系统会推荐“你的朋友YYY也关注了这位明星”?这个看似简单的功能背后,其实...

WOT2016彭哲夫:科班出身开发者对运维人员的期许

“运维与开发”是老生常谈的话题,前几天和一个运维人聊天,TA说一些公司运维岗位都不公开招聘了,这让众多运维人员情何以堪?是运维的岗位真的饱和了?是找到合适的运维人才难?还是有这样那样的因素?带着这些疑...

Java程序员最常用的20%技术总结(java程序员要掌握什么)

我听说编程语言,经常使用的是其中20%的技术。在Java这门语言中,这20%包括哪些内容?找到一份Java初级程序员的工作,有哪些是必须掌握的,有哪些是可以现学现卖的?一个完整的Javaweb项目,有...

秒杀系统实战(四)| 缓存与数据库双写一致性实战

前言微笑挖坑,努力填坑。————已经拥有黑眼圈,但还没学会小猪老师时间管理学的蛮三刀同学本文是秒杀系统的第四篇,我们来讨论秒杀系统中「缓存热点数据」的问题,进一步延伸到数据库和缓存的...

头条评论精灵翻牌子(头条评论精灵翻牌子怎么弄)

关于“头条评论精灵翻牌子”功能,这通常是指平台通过算法或运营手段,将用户的优质评论随机或定向推送到更显眼的位置(如信息流顶部、独立曝光位等),以提升互动率和用户参与感。以下是详细解析和建议:一、功能理...

15个程序员们都应该知道的大模型高级提示词指令模板和示例

作为程序员你如何写大模型指令?你写的指令是不是更专业呢?下面是15个程序员使用的专业的大模型指令,如果早知道可以能节省你很多时间。这些指令可以用在chatgpt,deepseek等大模型。1.一键...

MyBatis-Plus内置的主键生成策略有大坑,要注意!

昨天小伙伴使用Mybaits-Plus开发的项目线上(集群、K8S)出现了主键重复问题,其报错如下:Mybatis-Plus启动时会通过com.baomidou.mybatisplus.core.to...

取消回复欢迎 发表评论: