百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

Redis实现分页+多条件模糊查询组合方案

mhr18 2024-11-30 12:28 21 浏览 0 评论

导言

Redis是一个高效的内存数据库,它支持包括String、List、Set、SortedSet和Hash等数据类型的存储,在Redis中通常根据数据的key查询其value值,Redis没有模糊条件查询,在面对一些需要分页、排序以及条件查询的场景时(如评论,时间线,检索等),只凭借Redis所提供的功能就不太好不处理了。

本文不对Redis的特性做过多赘述。由于之前基于业务问题需要实现基于Redis的条件查询和分页功能,在百度上查询了不少文章,基本不是只有分页功能就是只有条件查询功能的实现,缺少两者组合的解决方案。因此,本文将基于Redis提供条件查询+分页的技术解决方案。

注:本文只提供实现思路,并不提供实现的代码

本文将从四个部分进行说明:

  • 分页实现
  • 模糊条件查询实现
  • 分页和模糊条件查询的组合实现
  • 优化方案

大家可以直接跳到自己需要的部分进行阅读。

Redis的分页实现

我们通常习惯于在Mysql、Oracle这样持久化数据库中实现分页查询,但是基于某些特殊的业务场景下,我们的数据并未持久化到了数据库中或是出于查询速度上的考虑将热点数据加载到了缓存数据库中。因此,我们可能需要基于Redis这样的缓存数据库去进行分页查询。

Redis的分页查询的实现是基于Redis提供的ZSet数据结构实现的,ZSet全称为Sorted Set,该结构主要存储有序集合。下面是它的指令描述以及该指令在分页实现中的作用:

  • ZADD:SortedSet的添加元素指令ZADD key score member [[score,member]…]会给每个添加的元素member绑定一个用于排序的值score,SortedSet就会根据score值的大小对元素进行排序。我们为通常习惯于将数据的时间属性当作score用于排序,当然大家也可以根据具体的业务场景去选择排序的目标。
  • ZREVRANGE:SortedSet中的指令ZREVRANGE key start stop可以返回指定区间内的成员,可以用来做分页。
  • ZREM:SortedSet的指令ZREM key member可以根据key移除指定的成员,能满足删评论的要求。

所以SortedSet用来做分页是非常适合的。下面是分页实现的演示图,包含插入新记录后的查询情况。

事实上,Redis中的List结构也是可以实现分页,但List无法实现自动排序,并且Zset还可以根据score进行数据筛选,取出目标score区间内数据。

所以在实现上,ZSet往往更加适合我们。当然如果你需要插入重复数据的情况下,分页就可能就需要借助List来实现了。具体使用那种结构来实现分页还是需要根据实际的业务场景来进行选择的。

Redis的多条件模糊查询实现

Redis是key-value类型的内存数据库,通过key直接取数据虽然很方便,但是并未提供像mysql那样方便的sql条件查询支持。因此我们需要借助Redis提供的结构和功能去自己实现模糊条件查询功能。

事实上,Redis的模糊条件查询是基于Hash实现的,我们可以将数据的某些条件值作为hash的key值,并数据本身作为value进行存储。然后通过Hash提供的HSCAN指令去遍历所有的key进行筛选,得到我们符合条件的所有key值(hscan可以进行模式匹配)。

为了方便,我们通常将符合条件的key全部放入到一个Set或是List中。这样一来,我们就可以根据得到的key值去取出相应的数据了。下面是模糊查询的演示图(其中field中的命名规则为<id>:<姓名>:<性别>,value为用户详情的json串)。

查询所有性别为女的用户

查询所有名字中姓阿的用户

HSCAN虽然为我们提供了模式匹配的功能,但这种匹配是基于遍历实现的,每一次匹配都需要遍历全部的key,效率上并不高。因此在下面一节会这方面进行补充,本节只谈如何实现模糊匹配。

Redis的分页+多条件模糊查询组合实现

前面分别单独叙述了如何实现Redis的分页和多条件某查询。在实际使用中,单独使用ZSet实现分页已经能够展现不错的性能了,但存在一个问题是我们所分页的数据往往是伴随着一些动态的筛选条件的,而ZSet并不提供这样的功能。

面对这种情况,我们通常有两种解决方案:

  1. 如果数据已经存储在了持久化数据库中,我们可以每次在数据库中做好条件查询再将数据放入Redis中进行分页。
  2. 在Redis中实现多条件模糊查询并分页。

前者方案其实是一个不错的选择,但缺点在于数据有时候并不一定都在持久化数据库中。在有些业务场景下,我们的数据为了展现更好的并发性以及高响应,我们的数据会先放置在缓存数据库中,等到某个时间或者满足某种条件时再持久化到数据库中。

在这种情况下我们第一个方案就不起作用了,需要使用第二个方案。因此,下面将介绍如何实现多条件模糊查询的基础上进行分页。

实现思路

首先我们可以采用多条件模糊查询章节所说的方式,将我们所涉及到的条件字段作为hash的field,而数据的内容则作为对应value进行存储(一般以json格式存储,方便反序列化)。

我们需要实现约定好查询的格式,用前面一节的例子来说,field中的命名规则为<id>:<姓名>:<性别>,我们每次可以通过"*"来实现我们希望的模糊匹配条件,比如“*:*:男”就是匹配所有男性数据,“100*:*:*”就是匹配所有id前缀为100的用户。

当我们拿到了匹配串后我们先去Redis中寻找是否存在以该匹配串为key的ZSet,如果没有则通过Redis提供的HSCAN遍历所有hash的field,得到所有符合条件的field,并将其放入一个ZSet集合,同时将这个集合的key设置为我们的条件匹配串。如果已经存在了,则直接对这个ZSet进行分页查询即可。对ZSet进行分页的方式已经在前面叙述过了。通过这样的方式我们就实现了最简单的分页+多条件模糊查询。

上图中,由于并未在缓存数据库中找到符合的ZSet集合,我们将根据匹配串生成一个新的集合用于分页。

性能优化方案

虽然上文实现了多条件模糊查询+分页的功能,但是在时间开发中,我们不能无限制的生成新的集合,因为匹配串是很多样化的,这会给缓存带来巨大的压力。

因此我们在生成集合时可以赋予这个集合一个过期时间,到期集合会自动销毁。因为根据时间局部性原理,我们在一段时间内不访问的数据大概率在很长一顿时间内也不会再访问。而对于命中的集合,我们将更新其过期时间。

同时,我们数据的实时性也是一个问题,因为我们的集合是在生成集合时的Hash内容决定的,对于新插入到Hash的数据,集合是无法探知的,因此有两种解决方案:

  • 第一种是插入到Hash时同时再插入到其他相应的集合中,保证数据一直是最新的,这种方式需要增加特殊前缀用于识别,否则我们也不清楚到底要插入到哪些集合中。
  • 第二种方式是定时更新,这种方式比较省力,但无法保证分页数据的实时性。因此具体怎么选择还是取决于业务场景。

相关推荐

Spring Boot 分布式事务实现简单得超乎想象

环境:SpringBoot2.7.18+Atomikos4.x+MySQL5.71.简介关于什么是分布式事务,本文不做介绍。有需要了解的自行查找相关的资料。本篇文章将基于SpringBoot...

Qt编写可视化大屏电子看板系统15-曲线面积图

##一、前言曲线面积图其实就是在曲线图上增加了颜色填充,单纯的曲线可能就只有线条以及数据点,面积图则需要从坐标轴的左下角和右下角联合曲线形成完整的封闭区域路径,然后对这个路径进行颜色填充,为了更美观...

Doris大数据AI可视化管理工具SelectDB Studio重磅发布!

一、初识SelectDBStudioSelectDBStudio是专为ApacheDoris湖仓一体典型场景实战及其兼容数据库量身打造的GUI工具,简化数据开发与管理。二、Select...

RAD Studio 、Delphi或C++Builder设计代码编译上线缩短开发时间

#春日生活打卡季#本月,Embarcadero宣布RADStudio12.3Athens以及Delphi12.3和C++Builder12.3,提供下载。RADStudio12.3A...

Mybatis Plus框架学习指南-第三节内容

自动填充字段基本概念MyBatis-Plus提供了一个便捷的自动填充功能,用于在插入或更新数据时自动填充某些字段,如创建时间、更新时间等。原理自动填充功能通过实现com.baomidou.myba...

「数据库」Sysbench 数据库压力测试工具

sysbench是一个开源的、模块化的、跨平台的多线程性能测试工具,可以用来进行CPU、内存、磁盘I/O、线程、数据库的性能测试。目前支持的数据库有MySQL、Oracle和PostgreSQL。以...

如何选择适合公司的ERP(选erp系统的经验之谈)

很多中小公司想搞ERP,但不得要领。上ERP的目的都是歪的,如提高效率,减少人员,堵住财务漏洞等等。真正用ERP的目的是借机提升企业管理能力,找出管理上的问题并解决,使企业管理更规范以及标准化。上ER...

Manus放开注册,但Flowith才是Agent领域真正的yyds

大家好,我是运营黑客。前天,AIAgent领域的当红炸子鸡—Manus宣布全面放开注册,终于,不需要邀请码就能体验了。于是,赶紧找了个小号去确认一下。然后,额……就被墙在了外面。官方解释:中文版...

歌浓酒庄总酿酒师:我们有最好的葡萄园和最棒的酿酒师

中新网1月23日电1月18日,张裕董事长周洪江及总经理孙健一行在澳大利亚阿德莱德,完成了歌浓酒庄股权交割签约仪式,这也意味着张裕全球布局基本成型。歌浓:澳大利亚年度最佳酒庄据悉,此次张裕收购的...

软件测试进阶之自动化测试——python+appium实例

扼要:1、了解python+appium进行APP的自动化测试实例;2、能根据实例进行实训操作;本课程主要讲述用python+appium对APP进行UI自动化测试的例子。appium支持Androi...

为什么说Python是最伟大的语言?看图就知道了

来源:麦叔编程作者:麦叔测试一下你的分析能力,直接上图,自己判断一下为什么Python是最好的语言?1.有图有真相Java之父-JamesGoshlingC++之父-BjarneStrou...

如何在Eclipse中配置Python开发环境?

Eclipse是著名的跨平台集成开发环境(IDE),最初主要用来Java语言开发。但是我们通过安装不同的插件Eclipse可以支持不同的计算机语言。比如说,我们可以通过安装PyDev插件,使Eclip...

联合国岗位上新啦(联合国的岗位)

联合国人权事务高级专员办事处PostingTitleIntern-HumanRightsDutyStationBANGKOKDeadlineOct7,2025CategoryandL...

一周安全漫谈丨工信部:拟定超1亿条一般数据泄露属后果严重情节

工信部:拟定超1亿条一般数据泄露属后果严重情节11月23日,工信部官网公布《工业和信息化领域数据安全行政处罚裁量指引(试行)(征求意见稿)》。《裁量指引》征求意见稿明确了行政处罚由违法行为发生地管辖、...

oracle列转行以及C#执行语句时报错问题

oracle列转行的关键字:UNPIVOT,经常查到的怎么样转一列,多列怎么转呢,直接上代码(sshwomeyourcode):SELECTsee_no,diag_no,diag_code,...

取消回复欢迎 发表评论: