百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

Go和Redis实现分布式锁

mhr18 2024-11-24 18:59 22 浏览 0 评论

本文介绍分布式锁的问题,以及分布式锁实现的方法。

为什么要使用锁,问题的引入?

进程、线程、协程介绍 一文中我们介绍了进程和线程,从文章中能了解到线程共享进程的内存全局变量,那么对于全局变量数据一致性的要求,需要在进程内对修改行为加锁以创造临界区。在分布式系统中,发并操作会导致数据不一致的情况,接下要解决的几个问题:

  • 单个应用中使用锁:(单进程多线程)
  • 分布式锁控制分布式系统之间同步访问资源的一种方式(相同的应用部署多套,并发请求,会执行到相同代码块)。

设计一个分布式锁需要具备哪些条件?

  • 互斥性:在任意一个时刻,只有一个客户端持有锁。
  • 无死锁:即便持有锁的客户端崩溃或者其他意外事件,锁仍然可以被获取。
  • 容错:以redis为例子,只要大部分Redis节点都活着,客户端就可以获取和释放锁。

单机程序并发操作中我们做一下锁的实验,如下对全局变量的自增操作。

不加锁代码演示:

结果:多次运行会得到不同的结果;

package main 
import ( 
    "sync" 
) 
// 全局变量 
var counter int 
func main() { 
    var wg sync.WaitGroup 
    for i := 0; i < 1000; i++ { 
        wg.Add(1) 
        go func() { 
        defer wg.Done() 
            counter++ 
        }() 
    } 
    wg.Wait() 
    println(counter) 
}
多次运行会得到不同的结果:
go run local_lock.go 
945 
go run local_lock.go 
937 
go run local_lock.go 
959

加锁代码的演示:

结果:数据保持一致;

package main 
import ( 
    "sync" 
) 
// 全局变量 
var counter int 
var l sync.Mutex
func main() { 
    var wg sync.WaitGroup 
    for i := 0; i < 1000; i++ { 
        wg.Add(1) 
        go func() { 
        	  defer wg.Done()
           l.Lock()
            counter++ 
           l.Unlock()
        }() 
    } 
    wg.Wait() 
    println(counter) 
}
多次运行会得到不同的结果:
go run local_lock.go 
1000

在某些场景,我们只是希望一个任务有单一的执行者,而不像计数器场景那样,所有Goroutine都执行成功。后来的Goroutine在抢锁失败后,需要放弃其流程。这时候就需要尝试锁(try lock)了。

顾名思义,尝试锁如果加锁成功执行后续流程,如果加锁失败也不会阻塞,而会直接返回加锁的结果。在Go语言中可以用大小为1的通道模拟尝试锁:

解决问题 :一个任务有单一的执行者

结果:如果加锁失败也不会阻塞,而会直接返回加锁的结果;

package main 
import ( 
    "sync" 
) 
// Lock 尝试锁 
type Lock struct { 
    c chan struct{} 
} 
// NewLock 生成一个尝试锁 
func NewLock() Lock { 
    var l Lock 
    l.c = make(chan struct{}, 1) 
    l.c <- struct{}{} 
    return l 
} 
// Lock 锁住尝试锁返回加锁结果 
func (l Lock) Lock() bool { 
    lockResult := false 
    select { 
    case <-l.c: 
        lockResult = true 
    default: 
    } 
    return lockResult 
} 
// Unlock 解锁尝试锁 
func (l Lock) Unlock() { 
    l.c <- struct{}{} 
} 
var counter int 
func main() { 
    var l = NewLock() 
    var wg sync.WaitGroup 
    for i := 0; i < 10; i++ { 
        wg.Add(1) 
        go func() { 
            defer wg.Done() 
            if !l.Lock() { 
                // log error 
                println("lock failed") 
                return 
            } 
            counter++ 
            println("current counter", counter) 
            l.Unlock() 
        }() 
    } 
    wg.Wait() 
}

因为我们的逻辑限定每个Goroutine只有成功执行了Lock才会继续执行后续逻辑,因此在Unlock时可以保证Lock结构体中的通道一定是空,从而不会阻塞,也不会失败。上面的代码使用了大小为1的通道来模拟尝试锁,理论上还可以使用标准库中的CAS来实现相同的功能且成本更低,读者可以自行尝试。

在单机系统中,尝试锁并不是一个好选择,因为大量的Goroutine抢锁可能会导致CPU无意义的资源浪费。有一个专有名词用来描述这种抢锁的场景——活锁。

活锁指的是程序看起来在正常执行,但实际上CPU周期被浪费在抢锁而非执行任务上,从而导致程序整体的执行效率低下。活锁的问题定位起来要麻烦很多,所以在单机场景下,不建议使用这种锁。


解决问题:分布式锁控制分布式系统之间同步访问资源的一种方式。

基于 Redis 的 SETNX 指令完成锁的获取。

获取锁

SetNX:当一个线程执行 setnx 返回 1,说明 key 原本不存在,该线程成功得到了锁;当一个线程执行 setnx 返回 0,说明 key 已经存在,该线程抢锁失败。

释放锁

Del:检查解锁方是否是加锁方,是则允许解锁,否则不允许解锁。

package main 
import ( 
    "fmt" 
    "sync" 
    "time" 
    "github.com/go-redis/redis" 
) 
func incr() { 
    client := redis.NewClient(&redis.Options{ 
        Addr:     "localhost:6379", 
        Password: "", // no password set 
        DB:       0,  // use default DB 
    }) 
    var lockKey = "counter_lock" 
    var counterKey = "counter" 
    // lock 
    resp := client.SetNX(lockKey, 1, time.Second*5) 
    lockSuccess, err := resp.Result() 
    if err != nil || !lockSuccess { 
        fmt.Println(err, "lock result: ", lockSuccess) 
        return 
    } 
    // counter ++ 
    getResp := client.Get(counterKey) 
    cntValue, err := getResp.Int64() 
    if err == nil { 
        cntValue++ 
        resp := client.Set(counterKey, cntValue, 0) 
        _, err := resp.Result() 
        if err != nil { 
            // log err 
            println("set value error!") 
        } 
    } 
    println("current counter is ", cntValue) 
    delResp := client.Del(lockKey) 
    unlockSuccess, err := delResp.Result() 
    if err == nil && unlockSuccess > 0 { 
        println("unlock success!") 
    } else { 
        println("unlock failed", err) 
    } 
} 
func main() { 
    var wg sync.WaitGroup 
    for i := 0; i < 10; i++ { 
        wg.Add(1) 
        go func() { 
            defer wg.Done() 
            incr() 
        }() 
    } 
    wg.Wait() 
}
看看运行结果:

通过代码和执行结果可以看到,远程调用setnx实际上和单机的尝试锁非常相似,如果获取锁失败,那么相关的任务逻辑就不应该继续向前执行。

setnx很适合在高并发场景下,用来争抢一些“唯一”的资源。例如,交易撮合系统中卖家发起订单,而多个买家会对其进行并发争抢。这种场景我们没有办法依赖具体的时间来判断先后,因为不管是用户设备的时间,还是分布式场景下的各台机器的时间,都是没有办法在合并后保证正确的时序的。哪怕是同一个机房的集群,不同的机器的系统时间可能也会有细微的差别。

所以,我们需要依赖这些请求到达Redis节点的顺序来做正确的抢锁操作。如果用户的网络环境比较差,那也只能自求多福了。

通过上面的方式,我们好像是解决了分布式锁的问题,但是想想还有没有什么问题呢??

对,问题还是有的,可能会有死锁的问题发生,比如服务器1设置完之后,获取了锁之后,忽然发生了宕机。

那后续的删除key操作就没法执行,这个key会一直在redis中存在,其他服务器每次去检查,都会返回0,他们都会认为有人在使用锁,我需要等。

为了解决这个死锁的问题,我们就就需要给key 设置有效期了。

第一种就是在set完key之后,直接设置key的有效期 "expire key timeout" ,为key设置一个超时时间,单位为second,超过这个时间锁会自动释放,避免死锁。

这种方式相当于,把锁持有的有效期,交给了redis去控制。如果时间到了,你还没有给我删除key,那redis就直接给你删了,其他服务器就可以继续去setnx获取锁。

第二种方式,就是把删除key权利交给其他的服务器,那这个时候就需要用到value值了

比如服务器1,设置了value 也就是 timeout 为 当前时间+1 秒 ,这个时候服务器2 通过get 发现时间已经超过系统当前时间了,那就说明服务器1没有释放锁,服务器1可能出问题了,

服务器2就开始执行删除key操作,并且继续执行setnx 操作。

但是这块有一个问题,也就是,不光你服务器2可能会发现服务器1超时了,服务器3也可能会发现,如果刚好,服务器2,setnx操作完成,服务器3就接着删除,是不是服务器3也可以setnx成功了?

那就等于是服务器2和服务器3都拿到锁了,那就问题大了。这个时候怎么办呢?

这个时候需要用到 “GETSET key value” 命令了。这个命令的意思就是获取当前key的值,并且设置新的值。

假设服务器2发现key过期了,开始调用 getset 命令,然后用获取的时间判断是否过期,如果获取的时间仍然是过期的,那就说明拿到锁了。

如果没有,则说明在服务2执行getset之前,服务器3可能也发现锁过期了,并且在服务器2之前执行了getset操作,重新设置了过期时间。

那么服务器2就需要放弃后续的操作,继续等待服务器3释放锁或者去监测key的有效期是否过期。

这块其实有一个小问题是,服务器3已经修改了有效期,拿到锁之后,服务器2,也修改了有效期,但是没能拿到锁,但是这个有效期的时间已经被在服务器3的基础上有增加一些,但是这种影响其实还是很小的,几乎可以忽略不计。

相关推荐

【推荐】一个开源免费、AI 驱动的智能数据管理系统,支持多数据库

如果您对源码&技术感兴趣,请点赞+收藏+转发+关注,大家的支持是我分享最大的动力!!!.前言在当今数据驱动的时代,高效、智能地管理数据已成为企业和个人不可或缺的能力。为了满足这一需求,我们推出了这款开...

Pure Storage推出统一数据管理云平台及新闪存阵列

PureStorage公司今日推出企业数据云(EnterpriseDataCloud),称其为组织在混合环境中存储、管理和使用数据方式的全面架构升级。该公司表示,EDC使组织能够在本地、云端和混...

对Java学习的10条建议(对java课程的建议)

不少Java的初学者一开始都是信心满满准备迎接挑战,但是经过一段时间的学习之后,多少都会碰到各种挫败,以下北风网就总结一些对于初学者非常有用的建议,希望能够给他们解决现实中的问题。Java编程的准备:...

SQLShift 重大更新:Oracle→PostgreSQL 存储过程转换功能上线!

官网:https://sqlshift.cn/6月,SQLShift迎来重大版本更新!作为国内首个支持Oracle->OceanBase存储过程智能转换的工具,SQLShift在过去一...

JDK21有没有什么稳定、简单又强势的特性?

佳未阿里云开发者2025年03月05日08:30浙江阿里妹导读这篇文章主要介绍了Java虚拟线程的发展及其在AJDK中的实现和优化。阅前声明:本文介绍的内容基于AJDK21.0.5[1]以及以上...

「松勤软件测试」网站总出现404 bug?总结8个原因,不信解决不了

在进行网站测试的时候,有没有碰到过网站崩溃,打不开,出现404错误等各种现象,如果你碰到了,那么恭喜你,你的网站出问题了,是什么原因导致网站出问题呢,根据松勤软件测试的总结如下:01数据库中的表空间不...

Java面试题及答案最全总结(2025版)

大家好,我是Java面试陪考员最近很多小伙伴在忙着找工作,给大家整理了一份非常全面的Java面试题及答案。涉及的内容非常全面,包含:Spring、MySQL、JVM、Redis、Linux、Sprin...

数据库日常运维工作内容(数据库日常运维 工作内容)

#数据库日常运维工作包括哪些内容?#数据库日常运维工作是一个涵盖多个层面的综合性任务,以下是详细的分类和内容说明:一、数据库运维核心工作监控与告警性能监控:实时监控CPU、内存、I/O、连接数、锁等待...

分布式之系统底层原理(上)(底层分布式技术)

作者:allanpan,腾讯IEG高级后台工程师导言分布式事务是分布式系统必不可少的组成部分,基本上只要实现一个分布式系统就逃不开对分布式事务的支持。本文从分布式事务这个概念切入,尝试对分布式事务...

oracle 死锁了怎么办?kill 进程 直接上干货

1、查看死锁是否存在selectusername,lockwait,status,machine,programfromv$sessionwheresidin(selectsession...

SpringBoot 各种分页查询方式详解(全网最全)

一、分页查询基础概念与原理1.1什么是分页查询分页查询是指将大量数据分割成多个小块(页)进行展示的技术,它是现代Web应用中必不可少的功能。想象一下你去图书馆找书,如果所有书都堆在一张桌子上,你很难...

《战场兄弟》全事件攻略 一般事件合同事件红装及隐藏职业攻略

《战场兄弟》全事件攻略,一般事件合同事件红装及隐藏职业攻略。《战场兄弟》事件奖励,事件条件。《战场兄弟》是OverhypeStudios制作发行的一款由xcom和桌游为灵感来源,以中世纪、低魔奇幻为...

LoadRunner(loadrunner录制不到脚本)

一、核心组件与工作流程LoadRunner性能测试工具-并发测试-正版软件下载-使用教程-价格-官方代理商的架构围绕三大核心组件构建,形成完整测试闭环:VirtualUserGenerator(...

Redis数据类型介绍(redis 数据类型)

介绍Redis支持五种数据类型:String(字符串),Hash(哈希),List(列表),Set(集合)及Zset(sortedset:有序集合)。1、字符串类型概述1.1、数据类型Redis支持...

RMAN备份监控及优化总结(rman备份原理)

今天主要介绍一下如何对RMAN备份监控及优化,这里就不讲rman备份的一些原理了,仅供参考。一、监控RMAN备份1、确定备份源与备份设备的最大速度从磁盘读的速度和磁带写的带度、备份的速度不可能超出这两...

取消回复欢迎 发表评论: