百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

当Redis的list遇上肥宅快乐水:一场数据结构的舌尖狂欢

mhr18 2025-05-03 15:20 23 浏览 0 评论

你以为Redis的list就是个排队买奶茶的普通队列?Too young!这分明是程序员世界的瑞士军刀!今天我们用一杯珍珠奶茶的视角,带你揭开Redis列表的魔幻面纱,保准你看完想立刻给自己点杯全糖去冰的庆祝!

一、从奶茶店队列说起:list的七十二变

(脑补你前面排了200号人的奶茶店)

"老板!我要波霸奶茶加布丁加奶盖!"当第201个顾客喊出需求时,店员小姐姐突然掏出了Redis秘籍:


# 左边进右边出就是队列
LPUSH milk_tea_queue "order_201"  # 队尾新增订单
RPOP milk_tea_queue  # 处理最早订单

# 右边进右边出就是栈
RPUSH operation_log "用户点击支付" 
RPOP operation_log  # 查看最新操作

但等等!当订单量暴涨到500单时,柜台下的数据结构突然开始变形...

二、压缩列表:程序员的俄罗斯方块大师课

Redis偷偷掏出了ziplist——这个内存界的空间管理大师:

  • 连续内存块排列得像俄罗斯方块
  • 每个元素都带着自己的metadata头饰
  • 遍历时像贪吃蛇一样滑行查找


// ziplist内部结构示意图
[zlbytes][zltail][zllen|entry1|entry2|...|entryN|zlend]

但当订单突破512个(默认值)时..."砰!"ziplist突然原地爆炸,变成了...

三、双向链表:奶茶订单的火车模型

linkedlist闪亮登场!每个订单都变成了独立的车厢:


typedef struct listNode {
    struct listNode *prev;  // 前车
    struct listNode *next;  // 后车
    void *value;           // 装载的奶茶
} listNode;

这时候:

  • 新增订单就像加挂车厢(O(1)时间)
  • 找第200号订单?得从头数200节(O(n))
  • 内存?每个车厢都要带两个火车钩子(prev/next指针)

思考题:当你要记录用户最近100条浏览记录,用ziplist还是linkedlist?

四、quicklist:来自东方的神秘智慧

Redis 3.2版本祭出大杀器——把ziplist和linkedlist"生"出来的混血儿!

这就像把俄罗斯方块模块装进火车车厢:


typedef struct quicklist {
    quicklistNode *head;          // 头节点
    quicklistNode *tail;          // 尾节点
    unsigned long count;          // 总元素个数
    unsigned long len;            // ziplist个数
    int fill : 16;                // 每个ziplist最大容量
    unsigned int compress : 16;   // 压缩深度
} quicklist;

此时操作效率:

  • 插入删除:局部ziplist调整+偶尔分裂
  • 内存消耗:比纯链表节省30%以上
  • 遍历速度:缓存友好的局部连续

思考题:当你要记录用户最近100条浏览记录,用ziplist还是linkedlist?

4.1、内存空间大比拼:瘦身达人的对决

  • ziplist:连续内存的优等生
    [元素1][元素2][元素3]... 像军训队列般整齐
    省去指针开销,100条记录能比链表省出约
    1600字节(每个节点省16字节指针)
    相当于多出两勺珍珠的空间!


  • linkedlist:自带火车钩子的土豪
    每个元素都携带
    prev+next双指针(64位系统各占8字节)
    存储100条记录要多消耗
    1600字节
    这够给奶茶加两份奶盖了!

4.2、操作效率擂台赛:速度与激情

  1. 头部插入(LPUSH)

ziplist:O(n)时间复杂度
每次插入都要集体向右平移(想象早高峰地铁挤入第一个车厢)
插入第100次时,实际已移动了 100*100/2 = 5000 个元素!

  1. linkedlist:O(1)闪电侠

只需修改头指针,就像VIP通道插队

  1. 尾部删除(LTRIM)

ziplist:O(1) 优雅裁剪
直接修改
zllen字段,像一刀切断奶茶吸管

linkedlist:O(1) 精准狙击
通过tail指针直捣黄龙,比截胡珍珠还快

  1. 范围查询(LRANGE)

ziplist:连续内存的王者
像吸管一口气吸上10颗珍珠,缓存命中率90%+

linkedlist:跳车厢的冒险者
要逐个节点跳跃,CPU缓存说"我晕车"

4.3、现实魔改方案:小孩子才做选择

Redis 3.2+版本的quicklist才是真香定律!它把ziplist和linkedlist做成了:
[ziplist车厢1]<->[ziplist车厢2]<->[ziplist车厢3]

  • 每个车厢默认存2048字节(约存50个浏览记录)
  • 插入新记录:往第一个ziplist车厢塞,满员就开新车厢
  • 删除旧记录:从末尾ziplist车厢清理,空车厢直接卸货

这样既保持了:
头部插入O(1)时间复杂度(操作ziplist头部)
尾部删除O(1)时间复杂度
内存节省率是纯链表的2倍以上

4.4、终极灵魂选择器

用决策树帮你拍板:

if (元素大小 < 64字节 && 总数量 < 512 && 不需要频繁修改中间元素) {
    选ziplist → 省内存冠军!
} else if (需要高频插入/删除 || 元素较大) {
    选linkedlist → 速度之王!
} else {
    无脑选quicklist → 官方外挂真香!
}

4.5、课后彩蛋:用Lua实现浏览记录

-- 记录最近100条浏览记录
local key = KEYS[1]
local item = ARGV[1]

redis.call('LPUSH', key, item)
redis.call('LTRIM', key, 0, 99)

return redis.call('LLEN', key)

这就像自动化的奶茶流水线:

  1. 新珍珠(浏览记录)从顶部加入
  2. 老珍珠(旧记录)从底部掉落
  3. 始终保持杯中有100颗Q弹的珍珠

现在你该明白:为什么Redis作者要发明quicklist?就像为什么奶茶要发明三分糖——既要性能的甜,又要内存的低卡!



五、实战宝典:list的十八般武艺

  1. 消息队列三件套:LPUSH+BRPOP实现饿了么式订单分发


# 生产者
LPUSH food_orders "牛肉盖饭"
# 消费者
BRPOP food_orders 30
  1. 朋友圈时间线:用LTRIM打造金鱼记忆的7天可见


LPUSH weibo_timeline "新的自拍"
LTRIM weibo_timeline 0 100  # 只保留最新101条
  1. 循环抽奖池:当RANDOMKEY遇上Lua脚本


local key = KEYS[1]
local item = redis.call('RPOPLPUSH', key, key)
return item
  1. 实时排行榜:ZSET不够香吗?但list的LRANGE可以更暴力!


LPUSH realtime_rank "user_score"
LRANGE realtime_rank 0 9  # TOP10瞬间出炉

六、灵魂拷问:你掉的是金list还是银list?

  • 当元素平均大小超过64字节→快使用quicklist!
  • 需要范围查询→ziplist区域检索更给力
  • 频繁修改中间元素→考虑转用其他结构(比如跳表)

(此时你的奶茶突然开口说话)"少年,要获取最佳性能,记得调整这些参数哦:"


list-max-ziplist-size 4096  # 每个ziplist最大字节数
list-compress-depth 1       # 两端不压缩的节点数

七、课后加餐:来自Redis作者的神秘纸条

"知道为什么新版本默认用quicklist吗?因为——这个世界需要平衡!就像奶茶的三分糖,既有链表的灵活,又有压缩列表的紧凑,这才是工程的艺术!"

最后送你一道思考题:如果让你用Redis list实现钉钉的已读未读功能,要怎么设计?(提示:可以考虑双队列+LRANGE魔法)

7.1、需求灵魂画手:钉钉消息的生命周期

  1. 张三发送消息 → 所有群成员进入未读名单
  2. 李四打开聊天窗 → 触发读消息事件
  3. 王五永远假装不在线 → 稳居未读榜首

7.2、双队列核弹设计:消息的楚河汉界

每个消息分配两个专属队列(示例消息ID:msg_007):

# 未读名单(薛定谔的队列)
msg_007:unread = [user1, user2, user3,...] 

# 已读名单(爱的号码牌)
msg_007:read = [user4, user5,...]

操作三连击

  1. 初始化核爆(发消息时):
-- 用Lua原子操作初始化
local receivers = {'user1','user2','user3'} -- 接收者数组
redis.call('DEL', KEYS[1], KEYS[2])  -- 清空旧数据
for _, user in ipairs(receivers) do
    redis.call('RPUSH', KEYS[1], user)  -- 未读队列初始化
end
  1. 读消息闪电战(用户点击时):
# 原子操作迁移用户
def mark_read(msg_id, user_id):
    # 从未读列表删除(LREM时间复杂度O(N))
    removed = redis.lrem(f"{msg_id}:unread", 1, user_id)
    if removed > 0:
        # 加入已读列表(保持插入顺序)
        redis.lpush(f"{msg_id}:read", user_id)
  1. 查看未读名单(领导查岗时):
# 分页查看未读用户(LRANGE魔法)
LRANGE msg_007:unread 0 9  # 第一页
LRANGE msg_007:unread 10 19 # 第二页

7.3、性能刺客的救赎:空间换时间の奥义

当群成员突破500人时,LREM操作可能变成性能黑洞!这时候需要祭出双缓冲黑科技

改良版数据结构

# 未读名单改用Set(O(1)删除)
msg_007:unread_set = {user1, user2, user3}  

# 已读名单保持List(保持顺序)
msg_007:read_list = [user4, user5]

混合操作脚本

-- KEYS[1]=未读集合, KEYS[2]=已读列表, ARGV[1]=用户
local exist = redis.call('SISMEMBER', KEYS[1], ARGV[1])
if exist == 1 then
    redis.call('SREM', KEYS[1], ARGV[1])
    redis.call('LPUSH', KEYS[2], ARGV[1])
    return 1  -- 标记成功
end
return 0  -- 已读过

7.4、千万级群聊的终极大招:布隆过滤器の逆袭

当遇到万人群聊时(比如双11作战群),我们需要更骚的操作:

三级火箭架构

  1. 第一层:布隆过滤器
    快速判断用户是否
    可能未读

BF.ADD msg_007:unread_bloom user6

  1. 第二层:压缩位图
    精确记录已读状态(userID转数字)

SETBIT msg_007:read_bitmap 10086 1 # userID=10086已读

3.第三层:冷热分离

热数据:最近3天消息用Set+List

冷数据:历史消息转存Bitmaps


7.5、来自架构师的灵魂拷问

  1. 为什么不用ZSET?

时间戳排序 vs 插入顺序,这是用户体验的哲学问题

内存消耗多出30%(要存score字段)

  1. 已读列表为什么要用List?

便于展示"最近已读的10个人"(LRANGE秒杀)

天然支持消息已读水波纹动画效果

  1. 如何防止重复标记?

加分布式锁?→ 性能杀手!

用Redis事务?→ Lua脚本才是王道!


终极方案选择指南

if 群成员 < 500:
    双List原始方案(简单够用)
elif 500 < 群成员 < 5000:
    Set+List混合方案(性能平衡)
else:
    布隆过滤器+位图(空间管理大师)

彩蛋:钉钉已读功能的隐藏玩法
RPOPLPUSH命令可以实现已读回滚功能(撤回已读状态):

# 把用户从已读列表扔回未读列表
RPOPLPUSH msg_007:read msg_007:unread

这相当于给你的老板发送薛定谔的已读:"您的消息我已阅(但系统觉得我没看)"


恭喜你获得【Redis列表品鉴大师】称号!现在你可以:

  1. 打开Redis-cli开始调教list
  2. 给自己点杯真正的奶茶
  3. 把本文分享给那个总说list只能做队列的同事

(小声说:第三个选项可能会引发办公室技术battle,请谨慎选择~)


相关推荐

SpringBoot 各种分页查询方式详解(全网最全)

一、分页查询基础概念与原理1.1什么是分页查询分页查询是指将大量数据分割成多个小块(页)进行展示的技术,它是现代Web应用中必不可少的功能。想象一下你去图书馆找书,如果所有书都堆在一张桌子上,你很难...

《战场兄弟》全事件攻略 一般事件合同事件红装及隐藏职业攻略

《战场兄弟》全事件攻略,一般事件合同事件红装及隐藏职业攻略。《战场兄弟》事件奖励,事件条件。《战场兄弟》是OverhypeStudios制作发行的一款由xcom和桌游为灵感来源,以中世纪、低魔奇幻为...

LoadRunner(loadrunner录制不到脚本)

一、核心组件与工作流程LoadRunner性能测试工具-并发测试-正版软件下载-使用教程-价格-官方代理商的架构围绕三大核心组件构建,形成完整测试闭环:VirtualUserGenerator(...

Redis数据类型介绍(redis 数据类型)

介绍Redis支持五种数据类型:String(字符串),Hash(哈希),List(列表),Set(集合)及Zset(sortedset:有序集合)。1、字符串类型概述1.1、数据类型Redis支持...

RMAN备份监控及优化总结(rman备份原理)

今天主要介绍一下如何对RMAN备份监控及优化,这里就不讲rman备份的一些原理了,仅供参考。一、监控RMAN备份1、确定备份源与备份设备的最大速度从磁盘读的速度和磁带写的带度、备份的速度不可能超出这两...

备份软件调用rman接口备份报错RMAN-06820 ORA-17629 ORA-17627

一、报错描述:备份归档报错无法连接主库进行归档,监听问题12541RMAN-06820:WARNING:failedtoarchivecurrentlogatprimarydatab...

增量备份修复物理备库gap(增量备份恢复数据库步骤)

适用场景:主备不同步,主库归档日志已删除且无备份.解决方案:主库增量备份修复dg备库中的gap.具体步骤:1、停止同步>alterdatabaserecovermanagedstand...

一分钟看懂,如何白嫖sql工具(白嫖数据库)

如何白嫖sql工具?1分钟看懂。今天分享一个免费的sql工具,毕竟现在比较火的NavicatDbeaverDatagrip都需要付费才能使用完整功能。幸亏今天有了这款SQLynx,它不仅支持国内外...

「开源资讯」数据管理与可视化分析平台,DataGear 1.6.1 发布

前言数据齿轮(DataGear)是一款数据库管理系统,使用Java语言开发,采用浏览器/服务器架构,以数据管理为核心功能,支持多种数据库。它的数据模型并不是原始的数据库表,而是融合了数据库表及表间关系...

您还在手工打造增删改查代码么,该神器带你脱离苦海

作为Java开发程序,日常开发中,都会使用Spring框架,完成日常的功能开发;在相关业务系统中,难免存在各种增删改查的接口需求开发。通常来说,实现增删改查有如下几个方式:纯手工打造,编写各种Cont...

Linux基础知识(linux基础知识点及答案)

系统目录结构/bin:命令和应用程序。/boot:这里存放的是启动Linux时使用的一些核心文件,包括一些连接文件以及镜像文件。/dev:dev是Device(设备)的缩写,该目录...

PL/SQL 杂谈(二)(pl/sql developer使用)

承接(一)部分。我们从结构和功能这两个方面展示PL/SQL的关键要素。可以看看PL/SQL的优雅的代码。写出一个好的代码,就和文科生写出一篇优秀的作文一样,那么赏心悦目。1、与SQL的集成PL/S...

电商ERP系统哪个好用?(电商erp哪个好一点)

电商ERP系统哪个好用?做电商的,谁还没被ERP折腾过?有老板说:“我们早就上了ERP,订单、库存、财务全搞定,系统用得飞起。”也有运营吐槽:“系统是上了,可库存老不准,订单漏单错单天天有,财务对账还...

汽车检测线系统实例,看集中控制与PLC分布控制

PLC可编程控制器,上个世纪70年代初,为取代早期继电器控制线路,开始采取存储指令方式,完成顺序控制而设计的。开始仅有逻辑运算、计时、计数等简单功能。随着微处理的发展,PLC可编程能力日益提高,已经能...

苹果五件套成公司年会奖品主角,几大小技巧教你玩转苹果新品

钱江晚报·小时新闻记者张云山随着春节的临近,各家大公司的年会又将陆续上演。上周,各大游戏公司的年会大奖,苹果五件套又成了标配。在上海的游戏公司中,莉莉丝奖品列表拉得相当长,从特等奖到九等奖还包含了特...

取消回复欢迎 发表评论: