記一次由Redis分散式鎖造成的重大事故，避免以後踩坑！

前言

基於Redis使用分散式鎖在當今已經不是什麼新鮮事了。本篇文章主要是基於我們實際專案中因為redis分散式鎖定造成的事故分析及解決方案。

背景：我們專案中的搶購訂單採用的是分散式鎖定來解決的。

有一次，營運做了一個飛天茅台的搶購活動，庫存100瓶，但卻超賣了！要知道，這個地球上飛天茅台的稀缺性啊！ ！ ！事故定為P0級重大事故...只能坦然接受。整個專案組被扣績效了~~

事故發生後，CTO指名點姓讓我帶頭衝鋒來處理，好吧，衝~

##事故現場

經過一番了解後，得知這個搶購活動介面以前從來沒有出現過這種情況，但這次為什麼會超賣呢？

原因在於：之前的搶購商品都不是什麼稀缺性商品，而這次活動居然是飛天茅台，透過埋點資料分析，各項資料基本上都是倍增，活動熱烈程度可想而知！話不多說，直接上核心程式碼，機密部分做了偽代碼處理。 。 。

public SeckillActivityRequestVO seckillHandle(SeckillActivityRequestVO request) {
SeckillActivityRequestVO response;
    String key = "key:" + request.getSeckillId;
    try {
        Boolean lockFlag = redisTemplate.opsForValue().setIfAbsent(key, "val", 10, TimeUnit.SECONDS);
        if (lockFlag) {
            // HTTP请求用户服务进行用户相关的校验
            // 用户活动校验
            
            // 库存校验
            Object stock = redisTemplate.opsForHash().get(key+":info", "stock");
            assert stock != null;
            if (Integer.parseInt(stock.toString()) <= 0) {
                // 业务异常
            } else {
                redisTemplate.opsForHash().increment(key+":info", "stock", -1);
                // 生成订单
                // 发布订单创建成功事件
                // 构建响应VO
            }
        }
    } finally {
        // 释放锁
        stringRedisTemplate.delete("key");
        // 构建响应VO
    }
    return response;
}

以上程式碼，透過分散式鎖定過期時間有效期限10s來保障業務邏輯有足夠的執行時間；採用try-finally語句區塊保證鎖一定會及時釋放。業務代碼內部也對庫存進行了校驗。看起來很安全啊~  別急，繼續分析。

「

推薦一個DD寫的SpringBoot基礎教學的倉庫，祝你一臂之力：https://gitee.com/didispace/SpringBoot-Learning /tree/master/2.1.x

事故原因

飛天茅台搶​​購活動吸引了大量新用戶下載註冊我們的APP ，其中，不乏很多羊毛黨，採用專業的手段來註冊新用戶來薅羊毛。當然我們的用戶系統提前做好了防備，接入阿里雲人機驗證、三要素認證以及自研的風控系統等各種十八般武藝，擋住了大量的非法用戶。此處不禁點個讚~

但也正因如此，讓用戶服務一直處於較高的運行負載中。

#搶購活動開始的一瞬間，大量的用戶校驗請求打到了用戶服務。導致用戶服務閘道出現了短暫的回應延遲，有些請求的回應時長超過了10s，但由於HTTP請求的回應逾時我們設定的是30s，這就導致介面一直阻塞在用戶校驗那裡，10s後，分散式鎖已經失效了，此時有新的請求進來是可以拿到鎖的，也就是說鎖被覆蓋了。這些阻塞的接口執行完之後，又會執行釋放鎖的邏輯，這就把其他線程的鎖釋放了，導致新的請求也可以競爭到鎖~這真是一個極其惡劣的循環。

這時候只能依賴庫存校驗，但是偏偏庫存校驗不是非原子性的，採用的是get and compare 的方式，超賣的悲劇就這樣發生了~~~

事故分析

仔細分析下來，可以發現，這個搶購介面在高並發場景下，是有嚴重的安全隱患的，主要集中在三個地方：

沒有其他系統風險容錯處理

由於用戶服務吃緊，網關回應延遲，但沒有任何應對方式，這是超賣的導火線。

看似安全的分散式鎖定其實一點都不安全

雖然採用了set key value [EX seconds] [PX milliseconds] [NX| XX]的方式，但是如果執行緒A執行的時間較長沒有來得及釋放，鎖就過期了，此時執行緒B是可以取得到鎖的。當執行緒A執行完成之後，釋放鎖，實際上就把執行緒B的鎖釋放掉了。

這個時候，執行緒C又是可以取得到鎖的，而此時如果執行緒B執行完釋放鎖定其實就是釋放的執行緒C設定的鎖定。這是超賣的直接原因。

非原子性的庫存校驗

非原子性的库存校验导致在并发场景下，库存校验的结果不准确。这是超卖的根本原因。

通过以上分析，问题的根本原因在于库存校验严重依赖了分布式锁。因为在分布式锁正常set、del的情况下，库存校验是没有问题的。但是，当分布式锁不安全可靠的时候，库存校验就没有用了。

解决方案

知道了原因之后，我们就可以对症下药了。

实现相对安全的分布式锁

相对安全的定义：set、del是一一映射的，不会出现把其他现成的锁del的情况。从实际情况的角度来看，即使能做到set、del一一映射，也无法保障业务的绝对安全。

因为锁的过期时间始终是有界的，除非不设置过期时间或者把过期时间设置的很长，但这样做也会带来其他问题。故没有意义。

要想实现相对安全的分布式锁，必须依赖key的value值。在释放锁的时候，通过value值的唯一性来保证不会勿删。我们基于LUA脚本实现原子性的get and compare，如下：

public void safedUnLock(String key, String val) {
    String luaScript = "local in = ARGV[1] local curr=redis.call('get', KEYS[1]) if in==curr then redis.call('del', KEYS[1]) end return 'OK'"";
    RedisScript<String> redisScript = RedisScript.of(luaScript);
    redisTemplate.execute(redisScript, Collections.singletonList(key), Collections.singleton(val));
}

我们通过LUA脚本来实现安全地解锁。

实现安全的库存校验

如果我们对于并发有比较深入的了解的话，会发现想 get and compare/ read and save 等操作，都是非原子性的。如果要实现原子性，我们也可以借助LUA脚本来实现。

但就我们这个例子中，由于抢购活动一单只能下1瓶，因此可以不用基于LUA脚本实现而是基于redis本身的原子性。原因在于：

// redis会返回操作之后的结果，这个过程是原子性的
Long currStock = redisTemplate.opsForHash().increment("key", "stock", -1);

发现没有，代码中的库存校验完全是“画蛇添足”。

改进之后的代码

经过以上的分析之后，我们决定新建一个DistributedLocker类专门用于处理分布式锁。

public SeckillActivityRequestVO seckillHandle(SeckillActivityRequestVO request) {
SeckillActivityRequestVO response;
    String key = "key:" + request.getSeckillId();
    String val = UUID.randomUUID().toString();
    try {
        Boolean lockFlag = distributedLocker.lock(key, val, 10, TimeUnit.SECONDS);
        if (!lockFlag) {
            // 业务异常
        }

        // 用户活动校验
        // 库存校验，基于redis本身的原子性来保证
        Long currStock = stringRedisTemplate.opsForHash().increment(key + ":info", "stock", -1);
        if (currStock < 0) { // 说明库存已经扣减完了。
            // 业务异常。
            log.error("[抢购下单] 无库存");
        } else {
            // 生成订单
            // 发布订单创建成功事件
            // 构建响应
        }
    } finally {
        distributedLocker.safedUnLock(key, val);
        // 构建响应
    }
    return response;
}

深度思考

分布式锁有必要么

改进之后，其实可以发现，我们借助于redis本身的原子性扣减库存，也是可以保证不会超卖的。对的。但是如果没有这一层锁的话，那么所有请求进来都会走一遍业务逻辑，由于依赖了其他系统，此时就会造成对其他系统的压力增大。这会增加的性能损耗和服务不稳定性，得不偿失。基于分布式锁可以在一定程度上拦截一些流量。

分布式锁的选型

有人提出用RedLock来实现分布式锁。RedLock的可靠性更高，但其代价是牺牲一定的性能。在本场景，这点可靠性的提升远不如性能的提升带来的性价比高。如果对于可靠性极高要求的场景，则可以采用RedLock来实现。

再次思考分布式锁有必要么

由于bug需要紧急修复上线，因此我们将其优化并在测试环境进行了压测之后，就立马热部署上线了。实际证明，这个优化是成功的，性能方面略微提升了一些，并在分布式锁失效的情况下，没有出现超卖的情况。

然而，还有没有优化空间呢？有的！

由于服务是集群部署，我们可以将库存均摊到集群中的每个服务器上，通过广播通知到集群的各个服务器。网关层基于用户ID做hash算法来决定请求到哪一台服务器。这样就可以基于应用缓存来实现库存的扣减和判断。性能又进一步提升了！

// 通过消息提前初始化好，借助ConcurrentHashMap实现高效线程安全
private static ConcurrentHashMap<Long, Boolean> SECKILL_FLAG_MAP = new ConcurrentHashMap<>();
// 通过消息提前设置好。由于AtomicInteger本身具备原子性，因此这里可以直接使用HashMap
private static Map<Long, AtomicInteger> SECKILL_STOCK_MAP = new HashMap<>();

...

public SeckillActivityRequestVO seckillHandle(SeckillActivityRequestVO request) {
SeckillActivityRequestVO response;

    Long seckillId = request.getSeckillId();
    if(!SECKILL_FLAG_MAP.get(requestseckillId)) {
        // 业务异常
    }
     // 用户活动校验
     // 库存校验
    if(SECKILL_STOCK_MAP.get(seckillId).decrementAndGet() < 0) {
        SECKILL_FLAG_MAP.put(seckillId, false);
        // 业务异常
    }
    // 生成订单
    // 发布订单创建成功事件
    // 构建响应
    return response;
}

通过以上的改造，我们就完全不需要依赖redis了。性能和安全性两方面都能进一步得到提升！

当然，此方案没有考虑到机器的动态扩容、缩容等复杂场景，如果还要考虑这些话，则不如直接考虑分布式锁的解决方案。

總結

稀缺商品超賣絕對是重大事故。如果超賣數量多的話，甚至會為平台帶來非常嚴重的經營影響和社會影響。經過這次事故，讓我意識到對於專案中的任何一行程式碼都不能掉以輕心，否則在某些場景下，這些正常工作的程式碼就會變成致命殺手！

對於一個開發者而言，則設計開發方案時，一定要將方案考慮周全。怎樣才能將方案考慮周全？唯有持續不斷地學習！

以上是記一次由Redis分散式鎖造成的重大事故，避免以後踩坑！的詳細內容。更多資訊請關注PHP中文網其他相關文章！