一、架构设计思路
为达到百万级 QPS，我们采用多级缓存策略，将缓存分为两级：
- 一级缓存：Caffeine
- 特点：基于 JVM 内存，访问速度极快（纳秒级），适用于热点数据的本地缓存。
- 优势：减少网络延迟、减轻 Redis 访问压力，尤其适合在单节点内完成频繁读操作。
- 二级缓存：Redis
- 特点：分布式内存缓存系统，支持集群部署，具有高可用性与高扩展性。
- 优势：在多节点间共享数据，支持跨进程、跨机器的数据访问，保证数据一致性。
工作流程
- 请求流程：
- 客户端请求数据后，首先查询本地 Caffeine 缓存；
- 若 Caffeine 缓存命中，则直接返回数据；
- 若 Caffeine 缓存未命中，则查询 Redis 缓存；
- 若 Redis 命中，则将数据回填到 Caffeine，并返回数据；
- 如果 Redis 也未命中，则查询数据库，将查询结果同步写入 Redis 和 Caffeine 缓存，再返回数据。
- 异步更新策略：
- 对于数据更新场景，采用“延时双删”或其他缓存更新策略，确保数据库、Redis 和本地缓存一致。
- 异步刷新本地缓存，避免并发请求直接击穿 Redis。
二、技术关键点
- 缓存层级结构
- Caffeine 作为本地缓存，设置合适的容量、过期时间和淘汰策略。
- Redis 作为二级缓存，利用集群模式、读写分离及数据分片来保证高可用性和高并发处理能力。
- 数据一致性
- 采用缓存穿透、缓存击穿及缓存雪崩防护策略；
- 更新数据时，使用延时双删或分布式事务、版本号机制，保证数据在更新过程中的一致性。
- 异步处理
- 数据查询中，本地缓存与 Redis 缓存的更新可以采用异步线程池进行，降低请求响应延迟。
- 对于写操作，通过异步消息队列实现缓存与数据库之间的解耦。
- 监控与调优
- 定期监控各层缓存命中率、延迟以及 Redis 节点的负载，动态调整 Caffeine 容量和 Redis 集群配置。
- 利用分布式追踪系统记录各级缓存访问时间，找出瓶颈。
三、示例代码
以下是一个简单的 Java 示例，展示了如何结合 Caffeine 与 Redis 实现多级缓存的基本逻辑。
import com.github.benmanes.caffeine.cache.Cache;
import com.github.benmanes.caffeine.cache.Caffeine;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.core.ValueOperations;
import java.util.concurrent.TimeUnit;
public class MultiLevelCacheService {
// 一级缓存：Caffeine
private final Cache localCache = Caffeine.newBuilder()
.maximumSize(10000)
.expireAfterWrite(5, TimeUnit.MINUTES)
.build();
// 二级缓存：Redis（假设已经注入）
private final RedisTemplate redisTemplate;
private final ValueOperations valueOps;
public MultiLevelCacheService(RedisTemplate redisTemplate) {
this.redisTemplate = redisTemplate;
this.valueOps = redisTemplate.opsForValue();
}
// 获取数据（先查本地缓存，再查 Redis，最后查 DB）
public String getData(String key) {
// 1. 先从 Caffeine 本地缓存获取数据
String value = localCache.getIfPresent(key);
if (value != null) {
return value;
}
// 2. 本地缓存未命中，从 Redis 中获取
value = valueOps.get(key);
if (value != null) {
// 回填本地缓存
localCache.put(key, value);
return value;
}
// 3. Redis 未命中，查询数据库（这里用伪代码表示）
value = queryDatabase(key);
if (value != null) {
// 写入 Redis 和本地缓存
valueOps.set(key, value, 10, TimeUnit.MINUTES); // Redis 缓存10分钟
localCache.put(key, value);
}
return value;
}
// 模拟数据库查询
private String queryDatabase(String key) {
// 这里写实际的数据库查询逻辑
return "DB_VALUE_FOR_" + key;
}
// 更新数据示例（写操作采用延时双删策略）
public void updateData(String key, String newValue) {
// 1. 删除本地缓存和 Redis 中的数据（第一次删除）
localCache.invalidate(key);
redisTemplate.delete(key);
// 2. 更新数据库（伪代码，实际应在事务中执行）
updateDatabase(key, newValue);
// 3. 异步延时删除 Redis（防止并发写入导致脏数据）
new Thread(() -> {
try {
Thread.sleep(300); // 延时300毫秒，视业务情况调整
} catch (InterruptedException e) {
Thread.currentThread().interrupt();
}
redisTemplate.delete(key);
}).start();
}
private void updateDatabase(String key, String newValue) {
// 模拟数据库更新逻辑
System.out.println("数据库更新：" + key + " -> " + newValue);
}
}
说明：
- 多级缓存读取：首先查 Caffeine 本地缓存；若未命中，则查 Redis；仍未命中时，再查询数据库，并将结果写入 Redis 和本地缓存。
- 数据更新：更新时采用延时双删策略，先删除本地缓存和 Redis 中的数据，再更新数据库，最后延时删除 Redis 键以确保数据一致性。
四、总结
Caffeine + Redis 多级缓存方案可以有效降低数据库访问压力，提高响应速度，并支持百万级 QPS。通过利用 Caffeine 的本地高速缓存和 Redis 的分布式扩展能力，可以在高并发场景下获得较高的缓存命中率，同时通过延时双删等策略保证数据的一致性。此方案适用于需要实时数据访问和高并发查询的大型分布式系统。