使用redis bitmap计算日活跃用户数
mhr18 2025-07-23 16:27 4 浏览 0 评论
Metrics(指标)在允许延迟的情况下,通常通过job任务定时执行(如按小时、每天等频率),而基于 Redis 的Bitmap使我们能够实时完成此类计算,且极其节省空间。以亿级用户计算 “日活跃用户数” 指标这个场景为例,在 MBP 上的计算耗时不到 50 毫秒,仅占用 16MB 内存。
Bitmap
Bitmap(位图)是由 0 和 1 组成的数组,其中每个位可以设置为 0 或 1,数组中的每个位置称为偏移量。Bitmap支持逻辑与、或、异或等按位操作。
Population Count
Population Count算法是指计算一个二进制数中1的个数的算法。具体来说,就是任意给定一个无符号整数N,求N的二进制表示中1的个数,比如N = 5(0101)时,返回2;N = 15(1111)时,返回4。
可使用Redis BITCOUNT高效计算Population Count。甚至在支持SSE4指令集的CPU上,可以使用POPCNT硬件指令来计算二进制数中1的个数。
Redis中的Bitmap
Redis 支持二进制键和二进制值,而Bitmap本质上就是二进制值。SETBIT(key, offset, value)操作可将指定键在偏移量处的位设置为 0 或 1,该操作的时间复杂度为 O (1)。
日活跃用户数
为统计某日登录的唯一用户数,可以创建一个Bitmap,其中每个用户由一个偏移量(用户ID)标识。当用户访问页面或执行需要计数的操作时,将代表该用户 ID 的偏移量处的位设置为 1。位图的键由用户执行的操作名称和时间戳共同决定。
当用户登录时,我们执行redis.setbit(daily_active_users, user_id, 1),这会将daily_active_users Bitmap中对应的偏移量置为 1。对该位图进行人口计数,即可得到今日登录唯一用户数为9。此时键为daily_active_users,值为1011110100100101。
不过,由于日活跃用户每天都会变化,所以需要每天创建一个新的位图。实现方式很简单:将日期附加到位图键后,例如可将键命名为
daily_active_users:yyyy-mm-dd。
redis.setbit(daily_active_users:yyyy-mm-dd, user_id, 1)
某日登录过的唯一用户数,即为
daily_active_users:yyyy-mm-dd键对应位图的Population Count。若要计算周或月指标,只需对一周或一个月内的每日位图取并集,再计算结果位图的Population Count即可。
import redis.clients.jedis.Jedis;
import java.util.BitSet;
...
Jedis redis = new Jedis("localhost");
...
public int uniqueCount(String action, String... dates) {
BitSet all = new BitSet();
for (String date : dates) {
String key = action + ":" + date;
BitSet users = BitSet.valueOf(redis.get(key.getBytes()));
all.or(users);
}
return all.cardinality();
}
亿级用户下的性能对比
下表对比了 1.28 亿用户在 1 天、7 天和 30 天内的日活跃数计算耗时(7 天和 30 天指标通过合并每日位图计算得出):
周期 | 耗时(毫秒) |
每日 | 50.2 |
每周 | 392.0 |
每月 | 1624.8 |
结论
Redis Bitmap不仅能有效地节省存储空间,还能提高性能。无论是用户行为分析、活动参与度统计,还是其他需要快速计算交集的场景,Bitmap提供了一种极具优势的处理方式。
相关推荐
- Redis教程——数据类型(字符串、列表)
-
上篇文章我们学习了Redis教程——Redis入门,这篇文章我们学习Redis教程——数据类型(字符串、列表)。Redis数据类型有:字符串、列表、哈希表、集合、有序集合、地理空间、基数统计、位图、位...
- 说说Redis的数据类型(redis数据类型详解)
-
一句话总结Redis核心数据类型包括:String:存储文本、数字或二进制数据。List:双向链表,支持队列和栈操作。Hash:字段-值映射,适合存储对象。Set:无序唯一集合,支持交并差运算。Sor...
- Redis主从复制(Redis主从复制复制文件)
-
介绍Redis有两种不同的持久化方式,Redis服务器通过持久化,把Redis内存中持久化到硬盘当中,当Redis宕机时,我们重启Redis服务器时,可以由RDB文件或AOF文件恢复内存中的数据。不过...
- 深入解析 Redis 集群的主从复制实现方式
-
在互联网大厂的后端开发领域,Redis作为一款高性能的内存数据库,被广泛应用于缓存、消息队列等场景。而Redis集群中的主从复制机制,更是保障数据安全、实现读写分离以及提升系统性能的关键所在。今...
- Redis + MQ:高并发秒杀的技术方案与实现
-
大家好,我是一安~前言在电商秒杀场景中,瞬间爆发的海量请求往往成为系统的生死考验。当并发量达到数万甚至数十万QPS时,传统数据库单表架构难以支撑,而Redis与消息队...
- Redis面试题2025(redis面试题及答案2024)
-
Redis基础什么是Redis?它的主要特点是什么?Redis和Memcached有什么区别?Redis支持哪些数据类型?Redis的字符串类型最大能存储多少数据?Redis的列表类型和集合类型有什么...
- Redis学习笔记:过期键管理与EXPIRE命令详解(第七章)
-
在Redis中,过期键(ExpireKey)机制是实现缓存自动失效、临时数据管理的核心功能。EXPIRE命令作为设置键过期时间的基础工具,其工作原理与使用细节直接影响系统的内存效率和数据一致性。本章...
- Redis传送术:几分钟内将生产数据迁移到本地
-
在生产环境中使用Redis就像一把双刃剑。它快速、强大,存储了大量实时数据——但当你想要在本地调试问题或使用真实数据进行测试时,事情就变得棘手了。我们要做什么?我们想要从生产环境Redis实例中导出键...
- 使用redis bitmap计算日活跃用户数
-
Metrics(指标)在允许延迟的情况下,通常通过job任务定时执行(如按小时、每天等频率),而基于Redis的Bitmap使我们能够实时完成此类计算,且极其节省空间。以亿级用户计算“日活跃用户...
- 大部分.NET开发者都不知道的Redis性能优化神技!
-
你还在为Redis存储空间不够而发愁吗?还在为Json数据太大导致网络传输缓慢而头疼吗?今天我要告诉你一个让Redis性能飙升300%的秘密武器!这个技巧简单到让你怀疑人生,但效果却强大到让你的老板对...
- Redis学习笔记:内存优化实战指南(第六章)
-
Redis作为内存数据库,内存使用效率直接影响系统性能与成本。对于处理大规模数据的场景,合理的内存优化能显著降低资源消耗,提升服务稳定性。本章将基于Redis的内存管理特性,详解实用的优化技巧与最佳实...
- 大数据-47 Redis 内存控制、Key 过期与数据...
-
点一下关注吧!!!非常感谢!!持续更新!!!AI篇持续更新中!(长期更新)AI炼丹日志-30-新发布【1T万亿】参数量大模型!Kimi-K2开源大模型解读与实践,持续打造实用AI工具指南!...
- Redis学习笔记:内存优化进阶与实战技巧(第六章·续)
-
上一节我们介绍了Redis内存优化的基础策略,本节将深入更多实战技巧,包括数据结构的精细化选择、过期键的内存回收机制,以及大规模场景下的内存管理方案,帮助你在高并发场景下进一步提升内存利用率。七、数据...
- 低配服务器(2核3G)宝塔面板的Redis优化指南:512MB内存高效运行
-
在2核3G内存的低配服务器上部署Redis服务时,资源分配不当极易导致服务器崩溃。本文针对宝塔面板环境(PHP8.2+MariaDB10.6+Nginx),提供经过实战验证的Redis优化...
- Redis:为什么您应该多缓存少查询(为什么使用redis做缓存而不是其他的消息队列入kafka)
-
还在一次又一次地调用相同的API吗?这不仅效率低下——而且成本高昂。性能缓慢、成本更高,用户体验更差。让我们停止这种做法——从这篇文章开始。:D首先您需要了解Redis,简单来说,它是一个超快速的内存...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- oracle位图索引 (74)
- oracle批量插入数据 (65)
- oracle事务隔离级别 (59)
- oracle 空为0 (51)
- oracle主从同步 (56)
- oracle 乐观锁 (53)
- redis 命令 (83)
- php redis (97)
- redis 存储 (67)
- redis 锁 (74)
- 启动 redis (73)
- redis 时间 (60)
- redis 删除 (69)
- redis内存 (64)
- redis并发 (53)
- redis 主从 (71)
- redis 订阅 (51)
- redis 登录 (54)
- redis 面试 (58)
- 阿里 redis (59)
- redis 搭建 (53)
- redis的缓存 (55)
- lua redis (58)
- redis 连接池 (61)
- redis 限流 (51)