数据库优化，以实际SQL入手，带你一步一步走上SQL优化之路
mhr18 2024-10-20 06:44 24 浏览 0 评论
判断问题SQL
判断SQL是否有问题时可以通过两个表象进行判断：
1、系统级别表象
- CPU消耗严重
- IO等待严重
- 页面响应时间过长
- 应用的日志出现超时等错误
可以使用sar命令，top命令查看当前系统状态。
也可以通过Prometheus、Grafana等监控工具观察系统状态。
2、SQL语句表象
冗长的SQL都好理解，一段SQL太长阅读性肯定会差，而且出现问题的频率肯定会更高。更进一步判断SQL问题就得从执行计划入手，如下所示：
执行计划告诉我们本次查询走了全表扫描Type=ALL，rows很大(9950400)基本可以判断这是一段"有味道"的SQL。
获取问题SQL
不同数据库有不同的获取方法，以下为目前主流数据库的慢查询SQL获取工具
MySQL
Oracle
达梦数据库
SQL编写技巧
SQL编写有以下几个通用的技巧：
合理使用索引
索引少了查询慢；索引多了占用空间大，执行增删改语句的时候需要动态维护索引，影响性能 选择率高（重复值少）且被where频繁引用需要建立B树索引；
一般join列需要建立索引；复杂文档类型查询采用全文索引效率更好；索引的建立要在查询和DML性能之间取得平衡；复合索引创建时要注意基于非前导列查询的情况
使用UNION ALL替代UNION
UNION ALL的执行效率比UNION高，UNION执行时需要排重；UNION需要对数据进行排序
避免select * 写法
执行SQL时优化器需要将 * 转成具体的列；每次查询都要回表，不能走覆盖索引。
JOIN字段建议建立索引
一般JOIN字段都提前加上索引
避免复杂SQL语句
提升可阅读性；避免慢查询的概率；可以转换成多个短查询，用业务端处理
避免where 1=1写法
避免order by rand()类似写法
RAND()导致数据列被多次扫描
SQL优化
执行计划
完成SQL优化一定要先读执行计划，执行计划会告诉你哪些地方效率低，哪里可以需要优化。我们以MYSQL为例，看看执行计划是什么。（每个数据库的执行计划都不一样，需要自行了解）explain sql
接下来我们用一段实际优化案例来说明SQL优化的过程及优化技巧。
优化案例
表结构
三张表关联，查询当前用户在当前时间前后10个小时的订单情况，并根据订单创建时间升序排列，具体SQL如下
查看数据量
原执行时间
原执行计划
初步优化思路
- SQL中 where条件字段类型要跟表结构一致，表中user_id 为varchar(50)类型，实际SQL用的int类型，存在隐式转换，也未添加索引。将b和c表user_id 字段改成int类型。
- 因存在b表和c表关联，将b和c表user_id创建索引
- 因存在a表和b表关联，将a和b表seller_name字段创建索引
- 利用复合索引消除临时表和排序
初步优化SQL
查看优化后执行时间
查看优化后执行计划
查看warnings信息
继续优化alter table a modify "gmt_create" datetime DEFAULT NULL;
查看执行时间
查看执行计划
总结
- 查看执行计划 explain
- 如果有告警信息，查看告警信息 show warnings;
- 查看SQL涉及的表结构和索引信息
- 根据执行计划，思考可能的优化点
- 按照可能的优化点执行表结构变更、增加索引、SQL改写等操作
- 查看优化后的执行时间和执行计划
- 如果优化效果不明显，重复第四步操作
相关推荐
- 【预警通报】关于WebLogic存在远程代码执行高危漏洞的预警通报
-
近日，Oracle官方发布了2021年1月关键补丁更新公告CPU（CriticalPatchUpdate），共修复了包括CVE-2021-2109（WeblogicServer远程代码执行漏洞）...
- 医院信息系统突发应急演练记录（医院信息化应急演练）
-
信息系统突发事件应急预案演练记录演练内容信息系统突发事件应急预案演练参与人员信息科参与科室：全院各部门日期xxxx-xx-xx时间20:00至24:00地点信息科记录：xxx1、...
- 一文掌握怎么利用Shell+Python实现完美版的多数据源备份程序
-
简介：在当今数字化时代，无论是企业还是个人，数据的安全性和业务的连续性都是至关重要的。数据一旦丢失，可能会造成无法估量的损失。因此，如何有效地对分布在不同位置的数据进行备份，尤其是异地备份，成为了一个...
- docker搭建系统环境（docker搭建centos）
-
Docker安装（CentOS7）1.卸载旧版Docker#检查已安装版本yumlistinstalled|grepdocker#卸载旧版本yumremove-ydocker.x...
- 基础篇:数据库 SQL 入门教程（sql数据库入门书籍推荐）
-
SQL介绍什么是SQLSQL指结构化查询语言，是用于访问和处理数据库的标准的计算机语言。它使我们有能力访问数据库，可与多种数据库程序协同工作，如MSAccess、DB2、Informix、M...
- Java21杀手级新特性!3行代码性能翻倍
-
导语某券商系统用这招，交易延迟从12ms降到0.8ms！本文揭秘Oracle官方未公开的Record模式匹配+虚拟线程深度优化+向量API神操作，代码量直降70%！一、Record模式匹配（代码量↓8...
- 一文读懂JDK21的虚拟线程（java虚拟线程）
-
概述JDK21已于2023年9月19日发布，作为Oracle标准Java实现的一个LTS版本发布，发布了15想新特性，其中虚拟线程呼声较高。虚拟线程是JDK21中引入的一项重要特性，它是一种轻量级的...
- 效率!MacOS下超级好用的Linux虚拟工具:Lima
-
对于MacOS用户来说，搭建Linux虚拟环境一直是件让人头疼的事。无论是VirtualBox还是商业的VMware，都显得过于笨重且配置复杂。今天，我们要介绍一个轻巧方便的纯命令行Linux虚拟工具...
- 所谓SaaS（所谓三维目标一般都应包括）
-
2010年前后，一个科技媒体的主编写一些关于云计算的概念性问题，就可以作为头版头条了。那时候的云计算，更多的还停留在一些概念性的问题上。而基于云计算而生的SaaS更是“养在深闺人未识”，一度成为被IT...
- ORA-00600 「25027」 「x」报错（报错0xc0000001）
-
问题现象：在用到LOB大对象的业务中，进行数据的插入，失败了，在报警文件中报错：ORA-00600:内部错误代码,参数:[25027],[10],[0],[],[],[],[],[...
- 安卓7源码编译（安卓源码编译环境lunch失败,uname命令找不到）
-
前面已经下载好源码了，接下来是下载手机对应的二进制驱动执行编译源码命令下载厂商驱动https://developers.google.com/android/drivers?hl=zh-cn搜索NGI...
- 编译安卓源码（编译安卓源码 电脑配置）
-
前面已经下载好源码了，接下来是下载手机对应的二进制驱动执行编译源码命令下载厂商驱动https://developers.google.com/android/drivers?hl=zh-cn搜索NGI...
- 360 Vulcan Team首战告捷 以17.5万美金强势领跑2019“天府杯“
-
2019年11月16日，由360集团、百度、腾讯、阿里巴巴、清华大学与中科院等多家企业和研究机构在成都联合主办了2019“天府杯”国际网络安全大赛暨2019天府国际网络安全高峰论坛。而开幕当日最激荡人...
- Syslog 日志分析与异常检测技巧（syslog发送日志配置）
-
系统日志包含有助于分析网络设备整体运行状况的重要信息。然而，理解并从中提取有效数据往往颇具挑战。本文将详解从基础命令行工具到专业日志管理软件的全流程分析技巧，助你高效挖掘Syslog日志价值。Gr...
- 从Oracle演进看数据库技术的发展（从oracle演进看数据库技术的发展的过程）
-
数据库技术发展本质上是应用需求驱动与基础架构演进的双向奔赴，如何分析其技术发展的脉络和方向？考虑到oracle数据库仍然是这个领域的王者，以其为例，管中窥豹，对其从Oracle8i到23ai版本的核...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- oracle位图索引 (74)
- oracle基目录 (50)
- oracle批量插入数据 (65)
- oracle事务隔离级别 (53)
- oracle主从同步 (55)
- oracle 乐观锁 (51)
- redis 命令 (78)
- php redis (88)
- redis 存储 (66)
- redis 锁 (69)
- 启动 redis (66)
- redis 时间 (56)
- redis 删除 (67)
- redis内存 (57)
- redis并发 (52)
- redis 主从 (69)
- redis 订阅 (51)
- redis 登录 (54)
- redis 面试 (58)
- 阿里 redis (59)
- redis 搭建 (53)
- redis的缓存 (55)
- lua redis (58)
- redis 连接池 (61)
- redis 限流 (51)