这是我见过最简单易懂的sql窗口分析函数使用教程了[赞][赞][赞]
mhr18 2024-12-18 15:13 94 浏览 0 评论
上一篇：「sql笔记」left join 还是right join?
一、理解
Mysql8.0开始支持窗口函数，极大增强了Mysql的统计性能，再也不会被Oracle等鄙视了。Mysql8.0还增加了其他实用的高级性能，关注公众号后续文章进行了解。
1、使用场景
可从两个角度来了解和分辨需要使用窗口函数的场景。
（1）要查询的数据有n组性质相同的数据集（订单表可以按品类分成n组、按日期分成n组等），对每组组内的数据都需要做相同的统计计算。比如各品类的销售额前3名的商品分别是？比如各部门出勤率最好的3位员工是？
（2）符合以下5类窗口函数的代表的统计意义
排序函数：row_number() 、rank()、dense_rank()，对每组组内进行排序。
分布函数：percent_rank()、cume_dist()，对每组组内的个体在组内占比或累计占比。
绝对位置函数：first_value()、last_value()、nth_value()，对每组组内的第1位、最后1位、第n位的值。
相对位置函数：lag()、lead()，对每组内的某字段的前n行和后n行的值。
分桶函数：ntile(x)，将每组内的行，再分别分成x个组（桶）。
此前版本的Mysql没有窗口函数，要解决此类问题，会引入变量到sql中，很复杂。现在好啦，最方便的窗口函数可以使用了。
2、理解窗口
窗口可以理解为上面描述的把待分析数据分为n组的组或集合。每组内的每条数据都要在此窗口内执行同一个函数。窗口函数运行后，数据行数保持不变。
以下示例，每个品类的商品按照金额从大到小的排名。金额排名这列就是用窗口函数计算出来的，各窗口内的数据行数保持不变，零食类还是2行，水果类还是3行。
row_number() over(partition by 品类 order by 金额 desc) as 金额排名当不分组，而是全部数据当作1组来对待，此时窗口只有1个，单一窗口。
row_number() over(order by 金额 desc) as 金额排名二、函数介绍
1、排序函数
row_number()，1、2、3、4，重复值的序号也是连续+1，不会有重复结果。
rank()，1、1、3、4，有相同值时，序号可能不连续。
dense_rank()，1、1、2、3，有相同值时，序号也是连续的。
2、分布函数
3、相对位置函数
4、绝对位置函数
5、分桶函数
6、聚合函数参与窗口计算
三、特殊窗口
1、单一窗口
在理解窗口章节中已经提及过，over()中不使用pratition by，即where出来的数据作为1组。
2、细分窗口
3、滑动窗口
current row，边界是当前行，一般和其他范围关键字一起使用
rows x preceding/following，边界是当前行减去x行，边界是当前行加上x行
rows unbounded preceding/following，边界是分组的第一行，边界是分组的最后一行
range interval 7 day preceding/following，当前行日期向前、向后7天纳入计算
窗口函数很神奇，很强悍，可以把复杂的逻辑封装起来，简洁调用。对于数据分析师，这是打怪升级过程中必须掌握的，会让你的数据加工提效n倍。
最后提一个问题，本文案例均是partition by和order by一个字段，试问，over()里可以partition by几个字段，order by 几个字段？关注明天文章揭晓答案。
相关推荐
- 订单超时自动取消业务的 N 种实现方案，从原理到落地全解析
-
在分布式系统架构中，订单超时自动取消机制是保障业务一致性的关键组件。某电商平台曾因超时处理机制缺陷导致日均3000+订单库存锁定异常，直接损失超50万元/天。本文将从技术原理、实现细节、...
- 使用Spring Boot 3开发时，如何选择合适的分布式技术?
-
作为互联网大厂的后端开发人员，当你满怀期待地用上SpringBoot3，准备在项目中大显身手时，却发现一个棘手的问题摆在面前：面对众多分布式技术，究竟该如何选择，才能让SpringBoot...
- 数据库内存爆满怎么办?99%的程序员都踩过这个坑!
-
你的数据库是不是又双叒叕内存爆满了？！服务器监控一片红色警告，老板在群里@所有人，运维同事的电话打爆了手机...这种场景是不是特别熟悉？别慌！作为一个在数据库优化这条路上摸爬滚打了10年的老司机，今天...
- springboot利用Redisson 实现缓存与数据库双写不一致问题
-
使用了Redisson来操作Redis分布式锁，主要功能是从缓存和数据库中获取商品信息，以下是针对并发时更新缓存和数据库带来不一致问题的解决方案1.基于读写锁和删除缓存策略在并发更新场景下，...
- 外贸独立站数据库炸了?对象缓存让你起死回生
-
上周黑五，一个客户眼睁睁看着服务器CPU飙到100%——每次页面加载要查87次数据库。这让我想起2024年Pantheon的测试：Redis缓存能把WooCommerce查询速度提升20倍。跨境电商最...
- 手把手教你在 Spring Boot3 里纯编码实现自定义分布式锁
-
为什么要自己实现分布式锁？你是不是早就受够了引入各种第三方依赖时的繁琐？尤其是分布式锁这块，每次集成Redisson或者Zookeeper，都得额外维护一堆配置，有时候还会因为版本兼容问题头疼半...
- 如何设计一个支持百万级实时数据推送的WebSocket集群架构?
-
面试解答：要设计一个支持百万级实时数据推送的WebSocket集群架构，需从**连接管理、负载均衡、水平扩展、容灾恢复**四个维度切入：连接层设计-**长连接优化**：采用Netty或Und...
- Redis数据结构总结——面试最常问到的知识点
-
Redis作为主流的nosql存储，面试时经常会问到。其主要场景是用作缓存，分布式锁，分布式session，消息队列，发布订阅等等。其存储结构主要有String，List，Set，Hash，Sort...
- skynet服务的缺陷 lua死循环
-
服务端高级架构—云风的skynet这边有一个关于云风skynet的视频推荐给大家观看点击就可以观看了！skynet是一套多人在线游戏的轻量级服务端框架，使用C+Lua开发。skynet的显著优点是，...
- 七年Java开发的一路辛酸史:分享面试京东、阿里、美团后的心得
-
前言我觉得有一个能够找一份大厂的offer的想法，这是很正常的，这并不是我们的饭后谈资而是每个技术人的追求。像阿里、腾讯、美团、字节跳动、京东等等的技术氛围与技术规范度还是要明显优于一些创业型公司...
- mysql mogodb es redis数据库之间的区别
-
1.MySQL应用场景概念：关系型数据库,基于关系模型,使用表和行存储数据。优点：支持ACID事务,数据具有很高的一致性和完整性。缺点：垂直扩展能力有限,需要分库分表等方式扩展。对于复杂的查询和大量的...
- redis，memcached，nginx网络组件
-
1.理解阻塞io，非阻塞io，同步io，异步io的区别2.理解BIO和AIO的区别io多路复用只负责io检测，不负责io操作阻塞io中的write，能写多少是多少，只要写成功就返回，譬如准备写500字...
- SpringBoot+Vue+Redis实现验证码功能
-
一个小时只允许发三次验证码。一次验证码有效期二分钟。SpringBoot整合Redis...
- AWS MemoryDB 可观测最佳实践
-
AWSMemoryDB介绍AmazonMemoryDB是一种完全托管的、内存中数据存储服务，专为需要极低延迟和高吞吐量的应用程序而设计。它与Redis和Memcached相似，但具有更...
- 从0构建大型AI推荐系统:实时化引擎从工具到生态的演进
-
在AI浪潮席卷各行各业的今天，推荐系统正从幕后走向前台，成为用户体验的核心驱动力。本文将带你深入探索一个大型AI推荐系统从零起步的全过程，揭示实时化引擎如何从单一工具演进为复杂生态的关键路径。无论你是...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- oracle位图索引 (74)
- oracle批量插入数据 (65)
- oracle事务隔离级别 (59)
- oracle主从同步 (56)
- oracle 乐观锁 (53)
- redis 命令 (83)
- php redis (97)
- redis 存储 (67)
- redis 锁 (74)
- 启动 redis (73)
- redis 时间 (60)
- redis 删除 (69)
- redis内存 (64)
- redis并发 (53)
- redis 主从 (71)
- redis同步 (53)
- redis结构 (53)
- redis 订阅 (54)
- redis 登录 (62)
- redis 面试 (58)
- redis问题 (54)
- 阿里 redis (67)
- redis的缓存 (57)
- lua redis (59)
- redis 连接池 (64)