内存空间节约利器redis的bitmap(位图)应用场景有哪些你知道吗
mhr18 2024-11-21 17:55 20 浏览 0 评论
在前面我们分享过一次Redis常用数据结构和使用场景,文章对Redis基本使用做了一个简单的API说明,但是对于其中String类型中的bitmap(位图)我们需要重点说明一下,因为他的作用真的不容忽略,因为bitmap在内存资源节约上真的是太棒啦!同时因为计算机是基于二进制来运算的,所以bitmap还有天然的计算优势,如果使用bitmap来进行计算逻辑的话,性能会有大幅度提升。下面我们来分享下Redis中bitmap的实际应用场景。
统计用户每日签到
一年固定有365天或366天,这样可以用366个二进制位,即最多50个字节就可以记录每个用户一年的登录情况。某天登录把对应的二进制位改为1即可,当查询时,使用bitcount计算即可。既节省了空间,又提高了效率。假如说有1000W用户,500M空间存储足以。
统计活跃用户(去重),窗口随机
以每天的日期作为key,每个用户ID是一个二进制位,举个例子:假如说2020-01-01这一天,用户A(第一个bit位)登录了,用户B(第七个bit位)登录了;2020-01-02这一天,只有用户A登录,那么统计2020-01-01~2020-01-02这两天的活跃用户数。即可用以下命令计算:
setbit 2020-01-01 1 1
setbit 2020-01-01 7 1
setbit 2020-01-02 1 1
统计:
先去重:bitop or destkey 2020-01-01 2020-01-02
获取结果:bitcount destkey 0 -1
用户在线状态实时统计
用户ID为offset,如果在线就设置为1,不在线就设置为0,5000W用户只需要6MB的空间。还是使用bitcount命令进行统计汇总。
数据双写去重
以上bitmap的操作都是基于用户角度来进行统计的示例,但是bitmap作用远远不仅如此。下面我们重点来看下Redis的bitmap在数据双写中扮演的重要角色。
在最近的业务数据(大约一个亿数据)迁移的时候遇到了一个比较棘手的问题,因为需要进行老系统的兼容,数据迁移完成之后需要进行双写。但是双写数据不在一个系统并且组内还没有引入分布式事务框架(比如阿里的seate),那么如何保证双写的两部分数据库数据的一致性呢?如果出现了网络抖动、连接数据库超时等异常场景如何去补偿数据?其实对于这种问题,那就是需要定时check两个双写数据库的数据,假设先入数据库数据为A库,后入数据库数据为B库,以A入库的数据库为主,去check后入库的B库数据。如果check发现数据不一致(一般都是B库数据库数据丢失情况),则将B库数据未能成功写入的数据重新写入,并且需要保证B库数据不会重复推送。
如果我们check数据条数不一致时,我们可以通过哪些方式来排查出未能成功同步的数据,并且重新推送呢?可能会有以下方案:
- 先逐条查询A数据库数据,然后去查询B数据库是否存在,如果不存在则将该数据写入到数据库B(数据库压力过大)
- B数据库增加唯一键,check对数据不一致时,将A数据库的数据全量推给B数据库,如果出现异常则报错即可(数据库会有大量报错,不友好)
- B数据库增加唯一键,利用Mysql数据库的INSERT INTO ... ON DUPLICATE KEY UPDATE(不存在插入,存在则更新)方式,重新将A数据推送给B(字段过多,性能低下)
- B数据库增加唯一键,利用Mysql数据库的REPLACE INTO方式,重新将A数据推送给B(效率很差,多进程并发一下就会锁表)
- B数据库增加唯一键,利用Mysql数据库的INSERT IGNORE INTO,重新将A数据推送给B(不建议使用,可能会丢数据)
- 依赖DBA,让B库通过binlog方式监听A数据的变更,但是需要引入其他中间件,比如cancel(cancel存在单点问题,程序复杂性变高)
- 在数据库A增加触发器,当有数据变更时,通知数据库B同步(影响数据库性能)
基于以上方案,我们需要一个减轻Mysql压力同时提高系统check性能的方案,于是我们打算使用Redis的bitmap来check数据。架构方案如下图所示:
主要分为2个过程
过程1)数据进行双写A库和B库,B库写成功后再写入Redis,为check定时任务做准备;
过程2)每日定时任务check,先校验A库和B库数据总条数是否一致,如果不一致则判断Redis是否存在,存在则代表双写成功,无则表示双写失败,然后重新推送。
那我们为什要使用bitmap呢?
- 我们先看下bitmap占用的空间,8个bit可以组成一个Byte,Redis指令 SETBIT key offset value,offset为数据的偏移量(我们使用Mysql的主见ID),所以大概的空间占用计算公式是:($offset/8/1024/1024)MB,占用空间随着数据量越大越明显
- 设置偏移量时的时间复杂度为O(1)
- 当我们check完数据后,需要将Redis的的key进行清除,因为check是以天为单位,所以只需要删除一个按照天为单位的key即可,对比Redis的value用String结构存要方便很多,同时提高操作性能
好的,以上是我们对bitmap(位图)实际使用场景对一个总结,当然bitmap的应用远不仅如此,比如面试过程中可能问到,在内存受限的情况下,如何在一个整数大集合找出出现次数大于等于一次的整数个数等,这里的重点一般是体现在内存受限!
不断分享开发过程用到的技术和面试经常被问到的问题,如果您也对IT技术比较感兴趣可以「关注」我
- 上一篇:Redisson的11个应用场景
- 下一篇:Redis每种数据结构的使用场景
相关推荐
- 【推荐】一个开源免费、AI 驱动的智能数据管理系统,支持多数据库
-
如果您对源码&技术感兴趣,请点赞+收藏+转发+关注,大家的支持是我分享最大的动力!!!.前言在当今数据驱动的时代,高效、智能地管理数据已成为企业和个人不可或缺的能力。为了满足这一需求,我们推出了这款开...
- Pure Storage推出统一数据管理云平台及新闪存阵列
-
PureStorage公司今日推出企业数据云(EnterpriseDataCloud),称其为组织在混合环境中存储、管理和使用数据方式的全面架构升级。该公司表示,EDC使组织能够在本地、云端和混...
- 对Java学习的10条建议(对java课程的建议)
-
不少Java的初学者一开始都是信心满满准备迎接挑战,但是经过一段时间的学习之后,多少都会碰到各种挫败,以下北风网就总结一些对于初学者非常有用的建议,希望能够给他们解决现实中的问题。Java编程的准备:...
- SQLShift 重大更新:Oracle→PostgreSQL 存储过程转换功能上线!
-
官网:https://sqlshift.cn/6月,SQLShift迎来重大版本更新!作为国内首个支持Oracle->OceanBase存储过程智能转换的工具,SQLShift在过去一...
- JDK21有没有什么稳定、简单又强势的特性?
-
佳未阿里云开发者2025年03月05日08:30浙江阿里妹导读这篇文章主要介绍了Java虚拟线程的发展及其在AJDK中的实现和优化。阅前声明:本文介绍的内容基于AJDK21.0.5[1]以及以上...
- 「松勤软件测试」网站总出现404 bug?总结8个原因,不信解决不了
-
在进行网站测试的时候,有没有碰到过网站崩溃,打不开,出现404错误等各种现象,如果你碰到了,那么恭喜你,你的网站出问题了,是什么原因导致网站出问题呢,根据松勤软件测试的总结如下:01数据库中的表空间不...
- Java面试题及答案最全总结(2025版)
-
大家好,我是Java面试陪考员最近很多小伙伴在忙着找工作,给大家整理了一份非常全面的Java面试题及答案。涉及的内容非常全面,包含:Spring、MySQL、JVM、Redis、Linux、Sprin...
- 数据库日常运维工作内容(数据库日常运维 工作内容)
-
#数据库日常运维工作包括哪些内容?#数据库日常运维工作是一个涵盖多个层面的综合性任务,以下是详细的分类和内容说明:一、数据库运维核心工作监控与告警性能监控:实时监控CPU、内存、I/O、连接数、锁等待...
- 分布式之系统底层原理(上)(底层分布式技术)
-
作者:allanpan,腾讯IEG高级后台工程师导言分布式事务是分布式系统必不可少的组成部分,基本上只要实现一个分布式系统就逃不开对分布式事务的支持。本文从分布式事务这个概念切入,尝试对分布式事务...
- oracle 死锁了怎么办?kill 进程 直接上干货
-
1、查看死锁是否存在selectusername,lockwait,status,machine,programfromv$sessionwheresidin(selectsession...
- SpringBoot 各种分页查询方式详解(全网最全)
-
一、分页查询基础概念与原理1.1什么是分页查询分页查询是指将大量数据分割成多个小块(页)进行展示的技术,它是现代Web应用中必不可少的功能。想象一下你去图书馆找书,如果所有书都堆在一张桌子上,你很难...
- 《战场兄弟》全事件攻略 一般事件合同事件红装及隐藏职业攻略
-
《战场兄弟》全事件攻略,一般事件合同事件红装及隐藏职业攻略。《战场兄弟》事件奖励,事件条件。《战场兄弟》是OverhypeStudios制作发行的一款由xcom和桌游为灵感来源,以中世纪、低魔奇幻为...
- LoadRunner(loadrunner录制不到脚本)
-
一、核心组件与工作流程LoadRunner性能测试工具-并发测试-正版软件下载-使用教程-价格-官方代理商的架构围绕三大核心组件构建,形成完整测试闭环:VirtualUserGenerator(...
- Redis数据类型介绍(redis 数据类型)
-
介绍Redis支持五种数据类型:String(字符串),Hash(哈希),List(列表),Set(集合)及Zset(sortedset:有序集合)。1、字符串类型概述1.1、数据类型Redis支持...
- RMAN备份监控及优化总结(rman备份原理)
-
今天主要介绍一下如何对RMAN备份监控及优化,这里就不讲rman备份的一些原理了,仅供参考。一、监控RMAN备份1、确定备份源与备份设备的最大速度从磁盘读的速度和磁带写的带度、备份的速度不可能超出这两...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- oracle位图索引 (63)
- oracle批量插入数据 (62)
- oracle事务隔离级别 (53)
- oracle 空为0 (50)
- oracle主从同步 (55)
- oracle 乐观锁 (51)
- redis 命令 (78)
- php redis (88)
- redis 存储 (66)
- redis 锁 (69)
- 启动 redis (66)
- redis 时间 (56)
- redis 删除 (67)
- redis内存 (57)
- redis并发 (52)
- redis 主从 (69)
- redis 订阅 (51)
- redis 登录 (54)
- redis 面试 (58)
- 阿里 redis (59)
- redis 搭建 (53)
- redis的缓存 (55)
- lua redis (58)
- redis 连接池 (61)
- redis 限流 (51)