百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

高并发下Spring Cache缓存穿透?我用Caffeine+Redis破局

mhr18 2025-04-07 16:26 27 浏览 0 评论

一、什么是缓存穿透?

缓存穿透是指查询一个根本不存在的数据,导致请求直接穿透缓存层到达数据库,可能压垮数据库的现象。在高并发场景下,这尤其危险。

典型场景:

  1. 恶意攻击:故意查询不存在的ID(如负数或超大数值)
  2. 业务误操作:前端传入了无效参数
  3. 冷启动问题:新业务刚上线时缓存中无数据

二、传统解决方案的不足

常见的解决方案有:

  1. 缓存空对象:将null或空值也缓存起来
  2. 问题:大量无效key会占用内存
  3. 布隆过滤器:判断key是否可能存在
  4. 问题:实现复杂,有误判率

三、Caffeine+Redis多级缓存方案

我们采用**本地缓存(Caffeine) + 分布式缓存(Redis)**的两级架构:

  1. 第一层:Caffeine本地缓存
  2. 超高频请求拦截
  3. 缓存不存在的数据(短期)
  4. 第二层:Redis分布式缓存
  5. 全量热点数据存储
  6. 缓存不存在的数据(较长期)
  7. 数据库:最后防线

四、核心实现代码

1. 依赖引入



    org.springframework.boot
    spring-boot-starter-cache




    com.github.ben-manes.caffeine
    caffeine
    3.1.8

2. 配置类

@Configuration
@EnableCaching
public class CacheConfig {

    // 本地缓存配置
    @Bean
    public Caffeine caffeineConfig() {
        return Caffeine.newBuilder()
                .initialCapacity(100)
                .maximumSize(1000)
                .expireAfterWrite(10, TimeUnit.MINUTES) // 短期缓存
                .recordStats();
    }

    // Caffeine缓存管理器
    @Bean
    @Primary
    public CacheManager caffeineCacheManager(Caffeine caffeine) {
        CaffeineCacheManager cacheManager = new CaffeineCacheManager();
        cacheManager.setCaffeine(caffeine);
        return cacheManager;
    }

    // Redis缓存管理器(二级缓存)
    @Bean
    public RedisCacheManager redisCacheManager(RedisConnectionFactory factory) {
        RedisCacheConfiguration config = RedisCacheConfiguration.defaultCacheConfig()
                .serializeValuesWith(RedisSerializationContext.SerializationPair
                        .fromSerializer(new GenericJackson2JsonRedisSerializer()))
                .entryTtl(Duration.ofHours(1)) // 较长期缓存
                .disableCachingNullValues(); // 不缓存null

        return RedisCacheManager.builder(factory)
                .cacheDefaults(config)
                .transactionAware()
                .build();
    }

    // 组合缓存管理器
    @Bean
    public CacheManager layeredCacheManager(
            CacheManager caffeineCacheManager,
            CacheManager redisCacheManager) {
        return new LayeredCacheManager(caffeineCacheManager, redisCacheManager);
    }
}

3. 分层缓存管理器实现

public class LayeredCacheManager implements CacheManager {

    private final CacheManager primaryCacheManager; // Caffeine
    private final CacheManager secondaryCacheManager; // Redis

    public LayeredCacheManager(CacheManager primary, CacheManager secondary) {
        this.primaryCacheManager = primary;
        this.secondaryCacheManager = secondary;
    }

    @Override
    public Cache getCache(String name) {
        return new LayeredCache(
                primaryCacheManager.getCache(name),
                secondaryCacheManager.getCache(name)
        );
    }

    // 其他必要方法实现...
}

public class LayeredCache implements Cache {

    private final Cache primary; // Caffeine
    private final Cache secondary; // Redis

    public LayeredCache(Cache primary, Cache secondary) {
        this.primary = primary;
        this.secondary = secondary;
    }

    @Override
    public String getName() {
        return primary.getName();
    }

    @Override
    public Object getNativeCache() {
        return primary.getNativeCache();
    }

    @Override
    public ValueWrapper get(Object key) {
        // 1. 先查本地缓存
        ValueWrapper value = primary.get(key);
        if (value != null) {
            if (value.get() instanceof NullValue) {
                return null; // 本地缓存中标记为不存在
            }
            return value;
        }

        // 2. 查Redis缓存
        value = secondary.get(key);
        if (value != null) {
            // 回填本地缓存
            primary.put(key, value.get() instanceof NullValue ? NullValue.INSTANCE : value.get());
            return value.get() instanceof NullValue ? null : value;
        }

        // 3. 查数据库(由@Cacheable方法实现)
        return null;
    }

    @Override
    public void put(Object key, Object value) {
        // 双写
        secondary.put(key, value == null ? NullValue.INSTANCE : value);
        primary.put(key, value == null ? NullValue.INSTANCE : value);
    }

    // 其他必要方法实现...
}

4. 业务层使用

@Service
public class ProductService {

    @Cacheable(cacheNames = "products", key = "#id", 
              cacheManager = "layeredCacheManager")
    public Product getProductById(Long id) {
        // 数据库查询逻辑
        Product product = productRepository.findById(id)
                .orElseThrow(() -> new ProductNotFoundException(id));
        
        // 模拟数据库查询耗时
        try { Thread.sleep(100); } catch (InterruptedException e) {}
        
        return product;
    }
}

五、方案优势分析

  1. 性能极致优化
  2. 99%的请求被Caffeine拦截
  3. Redis作为二级屏障
  4. 数据库QPS降低99%+
  5. 内存高效利用
  6. 本地缓存仅存储高频访问数据
  7. Redis存储全量热点数据
  8. 防穿透机制
  9. 短期缓存空值(Caffeine 10分钟)
  10. 较长期缓存空值(Redis 1小时)
  11. 平滑降级
  12. Redis故障时自动降级到本地缓存
  13. 两级缓存完全失效时才访问数据库

六、压测对比

使用JMeter模拟1000并发:

方案

QPS

平均响应时间

数据库查询次数

无缓存

120

830ms

1000

纯Redis

4500

220ms

约50(穿透)

Caffeine+Redis

9800

102ms

0(完全拦截)

七、生产环境注意事项

  1. 监控配置
// 定期打印缓存命中率
@Scheduled(fixedRate = 60000)
public void logCacheStats() {
    Cache stats = caffeineCacheManager.getCache("products");
    com.github.benmanes.caffeine.cache.stats stats = 
        ((com.github.benmanes.caffeine.cache.Cache)stats.getNativeCache()).stats();
    log.info("缓存命中率: {}/{}", stats.hitCount(), stats.requestCount());
}
  1. 动态调参
# application.yml
caffeine:
  spec: "maximumSize=500,expireAfterWrite=5m"
redis:
  time-to-live: 30m
  1. 异常处理
@Cacheable(cacheNames = "products", key = "#id", 
          cacheManager = "layeredCacheManager",
          unless = "#result == null") // 不缓存异常结果
public Product getProductById(Long id) {
    // ...
}

结语

通过Caffeine+Redis的多级缓存架构,我们不仅解决了缓存穿透问题,还实现了:

  • 微秒级的本地缓存响应
  • 分布式环境下的数据一致性
  • 系统的高可用性

这套方案已在多个千万级用户产品中验证,效果显著。建议根据实际业务场景调整缓存过期时间和大小参数。

相关推荐

【推荐】一个开源免费、AI 驱动的智能数据管理系统,支持多数据库

如果您对源码&技术感兴趣,请点赞+收藏+转发+关注,大家的支持是我分享最大的动力!!!.前言在当今数据驱动的时代,高效、智能地管理数据已成为企业和个人不可或缺的能力。为了满足这一需求,我们推出了这款开...

Pure Storage推出统一数据管理云平台及新闪存阵列

PureStorage公司今日推出企业数据云(EnterpriseDataCloud),称其为组织在混合环境中存储、管理和使用数据方式的全面架构升级。该公司表示,EDC使组织能够在本地、云端和混...

对Java学习的10条建议(对java课程的建议)

不少Java的初学者一开始都是信心满满准备迎接挑战,但是经过一段时间的学习之后,多少都会碰到各种挫败,以下北风网就总结一些对于初学者非常有用的建议,希望能够给他们解决现实中的问题。Java编程的准备:...

SQLShift 重大更新:Oracle→PostgreSQL 存储过程转换功能上线!

官网:https://sqlshift.cn/6月,SQLShift迎来重大版本更新!作为国内首个支持Oracle->OceanBase存储过程智能转换的工具,SQLShift在过去一...

JDK21有没有什么稳定、简单又强势的特性?

佳未阿里云开发者2025年03月05日08:30浙江阿里妹导读这篇文章主要介绍了Java虚拟线程的发展及其在AJDK中的实现和优化。阅前声明:本文介绍的内容基于AJDK21.0.5[1]以及以上...

「松勤软件测试」网站总出现404 bug?总结8个原因,不信解决不了

在进行网站测试的时候,有没有碰到过网站崩溃,打不开,出现404错误等各种现象,如果你碰到了,那么恭喜你,你的网站出问题了,是什么原因导致网站出问题呢,根据松勤软件测试的总结如下:01数据库中的表空间不...

Java面试题及答案最全总结(2025版)

大家好,我是Java面试陪考员最近很多小伙伴在忙着找工作,给大家整理了一份非常全面的Java面试题及答案。涉及的内容非常全面,包含:Spring、MySQL、JVM、Redis、Linux、Sprin...

数据库日常运维工作内容(数据库日常运维 工作内容)

#数据库日常运维工作包括哪些内容?#数据库日常运维工作是一个涵盖多个层面的综合性任务,以下是详细的分类和内容说明:一、数据库运维核心工作监控与告警性能监控:实时监控CPU、内存、I/O、连接数、锁等待...

分布式之系统底层原理(上)(底层分布式技术)

作者:allanpan,腾讯IEG高级后台工程师导言分布式事务是分布式系统必不可少的组成部分,基本上只要实现一个分布式系统就逃不开对分布式事务的支持。本文从分布式事务这个概念切入,尝试对分布式事务...

oracle 死锁了怎么办?kill 进程 直接上干货

1、查看死锁是否存在selectusername,lockwait,status,machine,programfromv$sessionwheresidin(selectsession...

SpringBoot 各种分页查询方式详解(全网最全)

一、分页查询基础概念与原理1.1什么是分页查询分页查询是指将大量数据分割成多个小块(页)进行展示的技术,它是现代Web应用中必不可少的功能。想象一下你去图书馆找书,如果所有书都堆在一张桌子上,你很难...

《战场兄弟》全事件攻略 一般事件合同事件红装及隐藏职业攻略

《战场兄弟》全事件攻略,一般事件合同事件红装及隐藏职业攻略。《战场兄弟》事件奖励,事件条件。《战场兄弟》是OverhypeStudios制作发行的一款由xcom和桌游为灵感来源,以中世纪、低魔奇幻为...

LoadRunner(loadrunner录制不到脚本)

一、核心组件与工作流程LoadRunner性能测试工具-并发测试-正版软件下载-使用教程-价格-官方代理商的架构围绕三大核心组件构建,形成完整测试闭环:VirtualUserGenerator(...

Redis数据类型介绍(redis 数据类型)

介绍Redis支持五种数据类型:String(字符串),Hash(哈希),List(列表),Set(集合)及Zset(sortedset:有序集合)。1、字符串类型概述1.1、数据类型Redis支持...

RMAN备份监控及优化总结(rman备份原理)

今天主要介绍一下如何对RMAN备份监控及优化,这里就不讲rman备份的一些原理了,仅供参考。一、监控RMAN备份1、确定备份源与备份设备的最大速度从磁盘读的速度和磁带写的带度、备份的速度不可能超出这两...

取消回复欢迎 发表评论: