Redis中位图和HyperLogLog的应用
mhr18 2024-12-01 09:20 15 浏览 0 评论
在我们日常开发中，会遇到一些布尔类型数据存储的需求，说的直白一些，就是是与不是、做与没做的一些需求，像用户的签到并记录这些签到，和办公系统里面打卡是一样的，下面两张图就是我的支付宝与我的移动的签到应用。
当接到这样的需求时，第一时间我想到的就是使用Redis来应对这样的需求，用户一年的签到记录， 签了是 1，没签是 0，要记录 365 天。如果使用普通的 key/value，每个用户要记录 365 个，当用户上亿的时候，需要的存储空间是惊人的。而这时Redis的位图数据结构就派上用场了，这样每天的签到记录只占据一个位， 365 天就是 365 个位，一个字节是8位，也就是一个用户签到一年，差不多46 个字节就可以完全容纳下，这就大大节约了存储空间。
位图不是特殊的数据结构，它的内容其实就是普通的字符串，也就是 byte 数组。我们可以使用普通的 get/set 直接获取和设置整个位图的内容，也可以使用位图操作 getbit/setbit 等将 byte 数组看成「位数组」来处理。
操作：设置（setbit）和获取（getbit）：
操作：统计（bitcount）和查找（bitpos）：
以上就是Redis提供给我们位图的数据结构，当然还是其他操作，这里就不再赘述，下面来讲一下另外一个需求，那就是统计网站的UV数据，当接到这样一个需求时，相信大部分程序员都会漏出自信的微笑，我用一个Redis的计数器就可以实现了，其实不然，如果统计 PV 那非常好办，给每个网页一个独立的 Redis 计数器就可以了，这个计数器 的 key 后缀加上当天的日期。这样来一个请求，incrby 一次，最终就可以统计出所有的 PV 数据。但是 UV 不一样，它要去重，同一个用户一天之内的多次访问请求只能计数一次。这就 要求每一个网页请求都需要带上用户的 ID，无论是登陆用户还是未登陆用户都需要一个唯一 ID 来标识。可能你会想到另外一个简单的方案，那就是为每一个页面一个独立的 set 集合来存储所有当天访问过此页面的用户 ID。当一个请求过来时，我们使用 sadd 将用户 ID 塞进去就可 以了。通过 scard 可以取出这个集合的大小，这个数字就是这个页面的 UV 数据。不错，这也是一个实现方案，但这个方案也有缺点，那就是数据量比较大时，如果你的页面访问量非常大，比如一个爆款页面几千万的 UV，你需要一个很大 的 set 集合来统计，这就非常浪费空间。
铺垫了那么久，其实就是为了引出这个解决方案的主角，那就是HyperLogLog，Redis 提供了 HyperLogLog 数据结构就是用来解决 这种统计问题的。HyperLogLog 提供不精确的去重计数方案，虽然不精确但是也不是非常不精确，标准误差是不到1%，这样的精确度已经可以满足上面的 UV 统计需求了。
操作：增加（pfadd）和统计（pfcount）：
大家看了会说，这部挺准确的，添加了3个，统计出来的就是3个，量大了就不行了，下面我们就用python脚步跑一个，验证一下，打开我们心爱的ipython：
误差是有一点的，但是可以满足相应的需求了，加入产品对统计精度要求特别的苛刻，那么我们就要损失存储空间和性能来实现它的需求了，兵来将挡，水来土掩，利用好Redis提供的强大功能，来开发应对不同的需求，不要只是会添加、获取和删除缓存这样简单的功能，要物尽其用！
相关推荐
- 京东大佬问我，每天新增100w订单数据的分库分表方案
-
京东大佬问我，每天新增100w订单数据的分库分表方案嗯，用户问的是高并发订单系统的分库分表方案，每天新增100万订单。首先，我得理解需求。每天100万订单，那每秒大概是多少呢？算一下，100万除以86...
- MySQL 内存使用构成解析与优化实践
-
在为HULK平台的MySQL提供运维服务过程中，我们常常接到用户反馈：“MySQL内存使用率过高”。尤其在业务高峰期，监控中内存占用持续增长，即便数据库运行正常，仍让人怀疑是否存在异常，甚至...
- 阿里云国际站:怎样计算内存优化型需求?
-
本文由【云老大】TG@yunlaoda360撰写一、内存优化型实例的核心价值内存优化型ECS实例专为数据密集型场景设计，具有以下核心优势：高内存配比：内存与CPU比例可达1:8（如ecs.re6....
- MySQL大数据量处理常用解决方案
-
1、读写分离读写分离，将数据库的读写操作分开，比如让性能比较好的服务器去做写操作，性能一般的服务器做读操作。写入或更新操作频繁可以借助MQ，进行顺序写入或更新。2、分库分表分库分表是最常规有效的一种大...
- 1024程序员节 花了三个小时调试 集合近50种常用小工具 开源项目
-
开篇1024是程序员节了，本来我说看个开源项目花半个小时调试之前看的一个不错的开源项目，一个日常开发常常使用的工具集，结果花了我三个小时，开源作者的开源项目中缺少一些文件，我一个个在网上找的，好多坑...
- 免费全开源，功能强大的多连接数据库管理工具!-DbGate
-
DBGate是一个强大且易于使用的开源数据库管理工具，它提供了一个统一的Web界面，让你能够轻松地访问和管理多种类型的数据库。无论你是开发者、数据分析师还是DBA，DBGate都能帮助你提升工作效率...
- 使用operator部署Prometheus
-
一、介绍Operator是CoreOS公司开发，用于扩展kubernetesAPI或特定应用程序的控制器，它用来创建、配置、管理复杂的有状态应用，例如数据库，监控系统。其中Prometheus-Op...
- java学习总结
-
SpringBoot简介https://spring.io/guideshttp://www.spring4all.com/article/246http://www.spring4all.com/a...
- Swoole难上手?从EasySwoole开始
-
前言有些童鞋感觉对Swoole不从下手，也不知在什么业务上使用它，看它这么火却学不会也是挺让人捉急的一件事情。Swoole：面向生产环境的PHP异步网络通信引擎啥是异步网络通信?10年架构师领你架...
- 一款商用品质的开源商城系统(Yii2+Vue2.0+uniapp)
-
一、项目简介这是一套很成熟的开源商城系统【开店星】，之前推过一次，后台感兴趣的还不少，今天再来详细介绍一下：基于Yii2+Vue2.0+uniapp框架研发，代码质量堪称商用品质，下载安装无门槛，UI...
- Yii2中对Composer的使用
-
如何理解Composer？若使用Composer我们应该先知道这是一个什么东西，主要干什么用的，我们可以把Composer理解为PHP包的管理工具，管理我们用到的Yii2相关的插件。安装Compose...
- SpringBoot实现OA自动化办公管理系统源码+代码讲解+开发文档
-
今天发布的是由【猿来入此】的优秀学员独立做的一个基于springboot脚手架的自动化OA办公管理系统，主要实现了日常办公的考勤签到等一些办公基本操作流程的全部功能，系统分普通员工、部门经理、管理员等...
- 7层架构解密:从UI到基础设施，打造真正可扩展的系统
-
"我们系统用户量暴增后完全崩溃了！"这是多少工程师的噩梦？选择正确的数据库只是冰山一角，真正的系统扩展性是一场全栈战役。客户端层：用户体验的第一道防线当用户点击你的应用时，0.1秒...
- Win11系统下使用Django+Celery异步任务队列以及定时(周期)任务
-
首先明确一点，celery4.1+的官方文档已经详细说明，该版本之后不需要引入依赖django-celery这个库了，直接用celery本身就可以了，就在去年年初的一篇文章python3.7....
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- oracle位图索引 (63)
- oracle批量插入数据 (62)
- oracle事务隔离级别 (53)
- oracle 空为0 (50)
- oracle主从同步 (55)
- oracle 乐观锁 (51)
- redis 命令 (78)
- php redis (88)
- redis 存储 (66)
- redis 锁 (69)
- 启动 redis (66)
- redis 时间 (56)
- redis 删除 (67)
- redis内存 (57)
- redis并发 (52)
- redis 主从 (69)
- redis 订阅 (51)
- redis 登录 (54)
- redis 面试 (58)
- 阿里 redis (59)
- redis 搭建 (53)
- redis的缓存 (55)
- lua redis (58)
- redis 连接池 (61)
- redis 限流 (51)