Java面试题|Redis缓存穿透如何使用布隆过滤器预处理无效key
mhr18 2024-12-06 17:16 26 浏览 0 评论
Redis缓存穿透是指当缓存中的数据失效时,多个请求同时访问数据库,导致数据库压力过大。为了解决这个问题,可以使用布隆过滤器来进行预处理。
一、布隆过滤器概述
布隆过滤器是一种高效的数据结构,用于快速判断一个元素是否可能存在于集合中。其核心思想是通过多个哈希函数将元素映射到一个位数组中,从而利用空间换时间的方式提高查询效率。
二、布隆过滤器处理缓存穿透的原理
初始化布隆过滤器:
- 创建一个固定大小的位数组,通常初始化为0。
- 选择多个独立的哈希函数,这些函数将输入数据(如字符串或数字)映射到位数组的索引位置。
插入元素:
- 当要将一个元素添加到集合中时,使用每个哈希函数对该元素进行哈希计算,并将位数组中对应位置的位设置为1。
检查元素:
- 要检查一个元素是否可能在集合中时,再次使用每个哈希函数对该元素进行哈希计算,并检查位数组中对应位置的位是否都为1。
- 如果任何一位为0,则元素肯定不在集合中;如果所有位都为1,则元素可能在集合中(注意,这里存在误判的可能性)。
三、使用布隆过滤器处理Redis缓存穿透的步骤
在Redis前添加布隆过滤器:
- 在应用服务器和Redis缓存之间添加一层布隆过滤器,用于快速判断请求的数据是否存在于集合中。
预检查请求数据:
- 在查询Redis缓存之前,先使用布隆过滤器对请求的数据进行预检查。
- 如果布隆过滤器判断该数据不存在于集合中,则直接返回404或错误信息,避免进一步查询Redis和数据库。
处理缓存未命中情况:
- 如果布隆过滤器判断该数据可能存在于集合中(即所有相关位都为1),则继续查询Redis缓存。
- 如果Redis缓存未命中,则再查询数据库。
- 如果数据库查询也未返回结果,则将该数据的键添加到布隆过滤器中(对于不存在的数据,可以通过这种方式减少未来的无效请求)。
更新缓存:
- 当从数据库中查询到数据时,将该数据更新到Redis缓存中,并设置适当的过期时间。
四、注意事项
误判率:
- 布隆过滤器存在误判的可能性,即可能将不存在的元素误判为存在。但在缓存穿透的场景中,我们更关注的是对数据库的保护,因此这个特性不会造成太大问题。
- 可以通过调整布隆过滤器的参数(如位数组的大小和哈希函数的数量)来降低误判率。
元素删除:
- 标准布隆过滤器不支持删除元素。如果需要删除元素,可以考虑使用计数式布隆过滤器或其他变种。
性能考虑:
- 布隆过滤器的插入和查询操作都非常快,可以达到常数时间复杂度O(k),其中k是哈希函数的数量。
- 在高并发场景下,布隆过滤器能够显著降低数据库的压力,提高系统的性能和稳定性。
布隆过滤器(Bloom Filter)是一种空间效率极高的概率型数据结构,用于快速判断一个元素是否存在于一个集合中。它利用位数组来存储信息,通过多个哈希函数将元素映射到位数组中的多个位置,并将这些位置的值设置为1。在查询时,只需检查这些位置的值是否都为1,如果有一个位置为0,则元素一定不存在;如果所有位置都为1,则元素可能存在(存在一定的误判率)。在Redis中,可以使用其位图数据结构来实现布隆过滤器的功能。以下是一个使用Java和Jedis(Redis的Java客户端)实现布隆过滤器的示例代码:
首先,确保已经在项目中引入了Jedis库。如果使用Maven构建项目,可以在`pom.xml`文件中添加以下依赖:
<dependency>
<groupId>redis.clients</groupId>
<artifactId>jedis</artifactId>
<version>3.7.0</version>
</dependency>
以下是Java代码实现:
import redis.clients.jedis.Jedis;
public class BloomFilterExample {
private static final int[] seeds = {3, 5, 7, 11, 13, 17, 19, 23, 29, 31}; // 哈希函数种子
private static final int DEFAULT_SIZE = 2 << 24; // 布隆过滤器的默认大小(可根据实际需求调整)
private static final double DEFAULT_FALSE_POSITIVE_PROBABILITY = 0.01; // 误判率(可根据实际需求调整)
private Jedis jedis;
private int[] offsets;
private int numHashes;
public BloomFilterExample() {
this.jedis = new Jedis("localhost", 6379); // 根据实际Redis连接信息修改
this.numHashes = optimalNumOfHashFunctions(DEFAULT_FALSE_POSITIVE_PROBABILITY, DEFAULT_SIZE);
this.offsets = new int[numHashes];
}
// 计算最优的哈希函数数量
private int optimalNumOfHashFunctions(double falsePositiveProbability, int size) {
return (int) Math.ceil(-Math.log(falsePositiveProbability) / Math.log(2));
}
// 计算哈希函数的偏移量
private void calculateOffsets(String value) {
for (int i = 0; i < numHashes; i++) {
int hash = hash(value, seeds[i]);
offsets[i] = Math.abs(hash % DEFAULT_SIZE);
}
}
// 向布隆过滤器中添加元素
public void add(String key, String value) {
calculateOffsets(value);
for (int offset : offsets) {
jedis.setbit(key, offset, true);
}
}
// 判断元素是否可能存在于布隆过滤器中(可能存在误判)
public boolean mightContain(String key, String value) {
calculateOffsets(value);
for (int offset : offsets) {
if (!jedis.getbit(key, offset)) {
return false;
}
}
return true;
}
// 关闭Redis连接
public void close() {
jedis.close();
}
// 简单的哈希函数实现(可根据需要替换为更复杂的哈希函数)
private int hash(String value, int seed) {
int hash = 0;
for (int i = 0; i < value.length(); i++) {
hash = hash * seed + value.charAt(i);
}
return hash & 0x7FFFFFFF;
}
public static void main(String[] args) {
BloomFilterExample bloomFilter = new BloomFilterExample();
String key = "bloom-filter-example";
String value1 = "hello";
String value2 = "world";
bloomFilter.add(key, value1);
System.out.println("Does '" + value1 + "' might exist? " + bloomFilter.mightContain(key, value1));
System.out.println("Does '" + value2 + "' might exist? " + bloomFilter.mightContain(key, value2));
bloomFilter.close();
}
}
在上述代码中:
- `BloomFilterExample`类实现了一个简单的布隆过滤器功能,通过Jedis与Redis进行交互。
- 构造函数中初始化了Jedis连接、计算了哈希函数数量,并创建了用于存储偏移量的数组。
- `add`方法用于向布隆过滤器中添加元素,通过计算元素的哈希值得到多个偏移量,并在Redis的位图中将对应位置设置为`true`。
- `mightContain`方法用于判断元素是否可能存在于布隆过滤器中,计算元素的哈希偏移量后,检查Redis位图中对应位置是否都为`true`,如果有一个为`false`,则元素一定不存在;如果都为`true`,则元素可能存在(存在误判可能)。
- `main`方法演示了如何使用布隆过滤器,向过滤器中添加一个元素并进行存在性判断。
请注意,这只是一个简单的示例,实际应用中可能需要根据具体需求进行优化和扩展,例如处理大规模数据时可能需要考虑分布式布隆过滤器等更高级的实现方式,同时还需要根据实际情况调整布隆过滤器的大小、误判率等参数以平衡性能和准确性。此外,Redis的位图操作在处理大规模数据时可能会占用较多内存,需要确保Redis服务器有足够的资源可用。
- 上一篇:关于组件,你真的了解么?
- 下一篇:波动的响应延迟:如何应对变慢的Redis?(上)
相关推荐
- Spring Boot 分布式事务实现简单得超乎想象
-
环境:SpringBoot2.7.18+Atomikos4.x+MySQL5.71.简介关于什么是分布式事务,本文不做介绍。有需要了解的自行查找相关的资料。本篇文章将基于SpringBoot...
- Qt编写可视化大屏电子看板系统15-曲线面积图
-
##一、前言曲线面积图其实就是在曲线图上增加了颜色填充,单纯的曲线可能就只有线条以及数据点,面积图则需要从坐标轴的左下角和右下角联合曲线形成完整的封闭区域路径,然后对这个路径进行颜色填充,为了更美观...
- Doris大数据AI可视化管理工具SelectDB Studio重磅发布!
-
一、初识SelectDBStudioSelectDBStudio是专为ApacheDoris湖仓一体典型场景实战及其兼容数据库量身打造的GUI工具,简化数据开发与管理。二、Select...
- RAD Studio 、Delphi或C++Builder设计代码编译上线缩短开发时间
-
#春日生活打卡季#本月,Embarcadero宣布RADStudio12.3Athens以及Delphi12.3和C++Builder12.3,提供下载。RADStudio12.3A...
- Mybatis Plus框架学习指南-第三节内容
-
自动填充字段基本概念MyBatis-Plus提供了一个便捷的自动填充功能,用于在插入或更新数据时自动填充某些字段,如创建时间、更新时间等。原理自动填充功能通过实现com.baomidou.myba...
- 「数据库」Sysbench 数据库压力测试工具
-
sysbench是一个开源的、模块化的、跨平台的多线程性能测试工具,可以用来进行CPU、内存、磁盘I/O、线程、数据库的性能测试。目前支持的数据库有MySQL、Oracle和PostgreSQL。以...
- 如何选择适合公司的ERP(选erp系统的经验之谈)
-
很多中小公司想搞ERP,但不得要领。上ERP的目的都是歪的,如提高效率,减少人员,堵住财务漏洞等等。真正用ERP的目的是借机提升企业管理能力,找出管理上的问题并解决,使企业管理更规范以及标准化。上ER...
- Manus放开注册,但Flowith才是Agent领域真正的yyds
-
大家好,我是运营黑客。前天,AIAgent领域的当红炸子鸡—Manus宣布全面放开注册,终于,不需要邀请码就能体验了。于是,赶紧找了个小号去确认一下。然后,额……就被墙在了外面。官方解释:中文版...
- 歌浓酒庄总酿酒师:我们有最好的葡萄园和最棒的酿酒师
-
中新网1月23日电1月18日,张裕董事长周洪江及总经理孙健一行在澳大利亚阿德莱德,完成了歌浓酒庄股权交割签约仪式,这也意味着张裕全球布局基本成型。歌浓:澳大利亚年度最佳酒庄据悉,此次张裕收购的...
- 软件测试进阶之自动化测试——python+appium实例
-
扼要:1、了解python+appium进行APP的自动化测试实例;2、能根据实例进行实训操作;本课程主要讲述用python+appium对APP进行UI自动化测试的例子。appium支持Androi...
- 为什么说Python是最伟大的语言?看图就知道了
-
来源:麦叔编程作者:麦叔测试一下你的分析能力,直接上图,自己判断一下为什么Python是最好的语言?1.有图有真相Java之父-JamesGoshlingC++之父-BjarneStrou...
- 如何在Eclipse中配置Python开发环境?
-
Eclipse是著名的跨平台集成开发环境(IDE),最初主要用来Java语言开发。但是我们通过安装不同的插件Eclipse可以支持不同的计算机语言。比如说,我们可以通过安装PyDev插件,使Eclip...
- 联合国岗位上新啦(联合国的岗位)
-
联合国人权事务高级专员办事处PostingTitleIntern-HumanRightsDutyStationBANGKOKDeadlineOct7,2025CategoryandL...
- 一周安全漫谈丨工信部:拟定超1亿条一般数据泄露属后果严重情节
-
工信部:拟定超1亿条一般数据泄露属后果严重情节11月23日,工信部官网公布《工业和信息化领域数据安全行政处罚裁量指引(试行)(征求意见稿)》。《裁量指引》征求意见稿明确了行政处罚由违法行为发生地管辖、...
- oracle列转行以及C#执行语句时报错问题
-
oracle列转行的关键字:UNPIVOT,经常查到的怎么样转一列,多列怎么转呢,直接上代码(sshwomeyourcode):SELECTsee_no,diag_no,diag_code,...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- oracle位图索引 (74)
- oracle批量插入数据 (65)
- oracle事务隔离级别 (59)
- oracle 空为0 (51)
- oracle主从同步 (56)
- oracle 乐观锁 (53)
- redis 命令 (78)
- php redis (88)
- redis 存储 (66)
- redis 锁 (69)
- 启动 redis (66)
- redis 时间 (56)
- redis 删除 (67)
- redis内存 (57)
- redis并发 (52)
- redis 主从 (69)
- redis 订阅 (51)
- redis 登录 (54)
- redis 面试 (58)
- 阿里 redis (59)
- redis 搭建 (53)
- redis的缓存 (55)
- lua redis (58)
- redis 连接池 (61)
- redis 限流 (51)