关于Redis-Lua脚本,你不知道的这些事
mhr18 2024-11-05 10:24 39 浏览 0 评论
概览
Lua 是一个简洁、轻量、可扩展的脚本语言,它有着相对简单的API 因此很容易嵌入应用中,很多应用程序使用Lua作为自己的嵌入式脚本语言,以此来实现可配置性、可扩展性。
Redis 从 2.6 版本开始支持 Lua 脚本,客户端通过 Lua 脚本,可以将多个 Redis 命令组合成一个原子性操作在服务器上执行。
例如使用 Redis 实现分布式锁时,为了保证操作原子性,通常也会使用 Lua 脚本封装锁相关的操作,以下为 Redisson 的加锁脚本实现:
Lua 脚本有以下优点:
?保证操作原子性
?减少网络开销,将多个指令组合到一个脚本中,与服务器的交互从多次变为一次
?可重复使用,在初次载入脚本之后,服务器会为脚本生成缓存,后续执行脚本时可直接使用缓存
基础命令
EVAL 命令:执行指定脚本;
SCRIPT LOAD 命令:加载指定脚本,执行成功后会返回脚本的SHA1校验和;
SCRIPT EXISTS 命令:检查脚本是否存在于服务器,1 表示存在;0 表示不存在;
EVALSHA 命令:指定SHA1校验和,执行对应脚本,这种方式在脚本体量较大时,能很大程度节省网络带宽
实现原理
redis 的 lua 功能的实现包含以下几个核心点:
?lua 环境初始化
?lua 脚本执行
?lua 脚本管理
?lua 脚本复制
下图展示了 lua 环境的初始化,以及 lua 环境与 redis 命令执行器的交互过程。
lua 环境初始化
lua 环境的构建主要包含三部分:基础函数库加载,redis表格加载,定制化函数加载。
基础函数库加载:加载基础函数库,例如字符串库,数学库等,支持 lua 脚本中的一些复杂操作。
redis表格加载:redis表格中包含 redis.call,redis.pcall 等函数,支持 lua 脚本中进行 redis 指令调用。
定制化函数加载:
?自定义随机函数,为了保证相同脚本在不同机器上执行能产生相同的结果,而原始的math.random,math.randomseed函数均不满足要求,故 redis 自定义实现了这两个随机函数
?排序辅助函数,另一个可能产生不一致数据的地方是那些带有不确定性的指令。例如集合中元素是无序排列的,即使两个集合中元素完全相同,最终输出结果的顺序也可能不一致,因此针对那些带有不确定性的指令,redis 会通过排序辅助函数对结果进行排序
?错误报告辅助函数,用于打印脚本执行过程中的错误信息,方便调试
脚本执行
脚本执行的过程主要包含以下三个步骤:
?加载脚本,生成对应的SHA1校验和,并生成脚本缓存
?在 lua 环境中生成脚本函数
?执行脚本函数
例如执行如下脚本:
1.首先会生成该脚本的 SHA1校验和:e17faafbc130014cebb229b71e0148b1f8f52389
2.生成对应的脚本函数,函数命名为 f_SHA1 的形式:f_e17faafbc130014cebb229b71e0148b1f8f52389
后续直接可以直接通过SHA1校验和定位并执行对应的脚本:
另外如果脚本中存在 redis 指令调用,lua 环境会通过一个伪客户端与命令执行器进行交互。
脚本管理
除了脚本执行以外,redis 还提供了几个脚本管理的指令:
?SCRIPT FLUSH,用于清除服务器中所有和Lua脚本有关的信息
?SCRIPT EXISTS,根据输入的SHA1校验和,检查校验和对应的脚本是否存在于服务器中
?SCRIPT LOAD,手动载入脚本,生成对应的SHA1校验和
?SCRIPT KILL,停止脚本执行
SCRIPT KILL 指令的实现相对更复杂一些,流程如下:
?脚本运行时间超出预先设置的 lua-time-limit 时,才允许被 SCRIPT KILL 强行停止脚本
?如果脚本中已经执行过写入操作,则不允许使用 SCRIPT KILL,只能通过 SHUTDOWN nosave 强行停止脚本,从而预防脏数据的写入
脚本复制
脚本复制是指当 Redis 运行在主从模式下时,主机执行了 Lua 脚本命令后,需要把命令及时同步到从机。
主要涉及上面提到的 EVAL,EVALSHA,SCRIPT FLUSH,SCRIPT LOAD 命令。
EVAL,SCRIPT FLUSH,SCRIPT LOAD 这三个命令的复制过程不复杂,与复制普通 Redis 命令的方法一样,当主机执行完这三个命令之后,直接将命令扩散给从机,从机重新执行一遍命令即可。
重点需要关注的是 EVALSHA 命令的复制,因为同样是执行 EVALSHA 命令,在从机上可能出现脚本未找到的错误,如下图所示:
当主机执行完 EVALSHA 0xxx1 命令后,将该命令复制到从机,但从机因为之前没有加载过 0xxx1 对应的脚本,因此执行失败了。
Redis 如何解决 EVALSHA 命令的复制问题呢?
首先 Redis 中维护了两个脚本相关的字典表:
?lua_scripts,维护当前机器已加载的脚本,键保存的是脚本的SHA1校验和,值指向脚本本身
?repl_scriptcache_dict,维护当前机器已同步给从机的脚本,键是脚本的SHA1校验和,值为空
复制过程如下:
?在复制 EVALSHA 命令前,会先检查脚本是否已同步至所有从机,通过 repl_scriptcache_dict 字典查询同步记录
?如果脚本已同步完成,直接复制 EVALSHA 命令,没有问题
?如果脚本未同步完成,则将 EVALSHA 命令转换成 EVAL 命令,重新触发一次从机的脚本同步
另外值得注意的是当有新的从机上线,主机会将 repl_scriptcache_dict 字典清空,为的是重新触发对所有从机的脚本同步。
相关推荐
- 【推荐】一个开源免费、AI 驱动的智能数据管理系统,支持多数据库
-
如果您对源码&技术感兴趣,请点赞+收藏+转发+关注,大家的支持是我分享最大的动力!!!.前言在当今数据驱动的时代,高效、智能地管理数据已成为企业和个人不可或缺的能力。为了满足这一需求,我们推出了这款开...
- Pure Storage推出统一数据管理云平台及新闪存阵列
-
PureStorage公司今日推出企业数据云(EnterpriseDataCloud),称其为组织在混合环境中存储、管理和使用数据方式的全面架构升级。该公司表示,EDC使组织能够在本地、云端和混...
- 对Java学习的10条建议(对java课程的建议)
-
不少Java的初学者一开始都是信心满满准备迎接挑战,但是经过一段时间的学习之后,多少都会碰到各种挫败,以下北风网就总结一些对于初学者非常有用的建议,希望能够给他们解决现实中的问题。Java编程的准备:...
- SQLShift 重大更新:Oracle→PostgreSQL 存储过程转换功能上线!
-
官网:https://sqlshift.cn/6月,SQLShift迎来重大版本更新!作为国内首个支持Oracle->OceanBase存储过程智能转换的工具,SQLShift在过去一...
- JDK21有没有什么稳定、简单又强势的特性?
-
佳未阿里云开发者2025年03月05日08:30浙江阿里妹导读这篇文章主要介绍了Java虚拟线程的发展及其在AJDK中的实现和优化。阅前声明:本文介绍的内容基于AJDK21.0.5[1]以及以上...
- 「松勤软件测试」网站总出现404 bug?总结8个原因,不信解决不了
-
在进行网站测试的时候,有没有碰到过网站崩溃,打不开,出现404错误等各种现象,如果你碰到了,那么恭喜你,你的网站出问题了,是什么原因导致网站出问题呢,根据松勤软件测试的总结如下:01数据库中的表空间不...
- Java面试题及答案最全总结(2025版)
-
大家好,我是Java面试陪考员最近很多小伙伴在忙着找工作,给大家整理了一份非常全面的Java面试题及答案。涉及的内容非常全面,包含:Spring、MySQL、JVM、Redis、Linux、Sprin...
- 数据库日常运维工作内容(数据库日常运维 工作内容)
-
#数据库日常运维工作包括哪些内容?#数据库日常运维工作是一个涵盖多个层面的综合性任务,以下是详细的分类和内容说明:一、数据库运维核心工作监控与告警性能监控:实时监控CPU、内存、I/O、连接数、锁等待...
- 分布式之系统底层原理(上)(底层分布式技术)
-
作者:allanpan,腾讯IEG高级后台工程师导言分布式事务是分布式系统必不可少的组成部分,基本上只要实现一个分布式系统就逃不开对分布式事务的支持。本文从分布式事务这个概念切入,尝试对分布式事务...
- oracle 死锁了怎么办?kill 进程 直接上干货
-
1、查看死锁是否存在selectusername,lockwait,status,machine,programfromv$sessionwheresidin(selectsession...
- SpringBoot 各种分页查询方式详解(全网最全)
-
一、分页查询基础概念与原理1.1什么是分页查询分页查询是指将大量数据分割成多个小块(页)进行展示的技术,它是现代Web应用中必不可少的功能。想象一下你去图书馆找书,如果所有书都堆在一张桌子上,你很难...
- 《战场兄弟》全事件攻略 一般事件合同事件红装及隐藏职业攻略
-
《战场兄弟》全事件攻略,一般事件合同事件红装及隐藏职业攻略。《战场兄弟》事件奖励,事件条件。《战场兄弟》是OverhypeStudios制作发行的一款由xcom和桌游为灵感来源,以中世纪、低魔奇幻为...
- LoadRunner(loadrunner录制不到脚本)
-
一、核心组件与工作流程LoadRunner性能测试工具-并发测试-正版软件下载-使用教程-价格-官方代理商的架构围绕三大核心组件构建,形成完整测试闭环:VirtualUserGenerator(...
- Redis数据类型介绍(redis 数据类型)
-
介绍Redis支持五种数据类型:String(字符串),Hash(哈希),List(列表),Set(集合)及Zset(sortedset:有序集合)。1、字符串类型概述1.1、数据类型Redis支持...
- RMAN备份监控及优化总结(rman备份原理)
-
今天主要介绍一下如何对RMAN备份监控及优化,这里就不讲rman备份的一些原理了,仅供参考。一、监控RMAN备份1、确定备份源与备份设备的最大速度从磁盘读的速度和磁带写的带度、备份的速度不可能超出这两...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- oracle位图索引 (63)
- oracle批量插入数据 (62)
- oracle事务隔离级别 (53)
- oracle 空为0 (50)
- oracle主从同步 (55)
- oracle 乐观锁 (51)
- redis 命令 (78)
- php redis (88)
- redis 存储 (66)
- redis 锁 (69)
- 启动 redis (66)
- redis 时间 (56)
- redis 删除 (67)
- redis内存 (57)
- redis并发 (52)
- redis 主从 (69)
- redis 订阅 (51)
- redis 登录 (54)
- redis 面试 (58)
- 阿里 redis (59)
- redis 搭建 (53)
- redis的缓存 (55)
- lua redis (58)
- redis 连接池 (61)
- redis 限流 (51)