Redis擊穿穿透雪崩產生原因為何及怎麼解決
1、前言
大家都知道,電腦的瓶頸之一就是IO,為了解決記憶體與磁碟速度不符的問題,產生了緩存,將一些熱點資料放在記憶體中,隨用隨取,降低連接到資料庫的請求連結,避免資料庫掛掉。要注意的是,無論是擊穿還是後面談到的穿透與雪崩,都是在高並發前提下,比如當緩存中某一個熱點key失效。
2、問題起因
有兩個主要原因:
1、Key過期;
2、Key被頁面置換淘汰。
對於第一個原因是因為在Redis中,Key有過期時間,如果某一個時刻(假如商城做活動,零點開始)key失效,那麼零點之後對某一個商品查詢請求將全都壓到資料庫上,導致資料庫崩。
對於第二個原因,因為記憶體是有限的,要時時刻刻緩存新的數據,淘汰舊的數據,所以在一定的頁面置換策略(常見頁面置換演算法圖解)中,淘汰數據,如果某些商品做活動前無人問津,勢必會被淘汰。
3、應對擊穿的處理思路
正常的處理請求如圖:
#由於key過期在所難免,高流量來到Redis時,根據Redis的單執行緒特性,可以認為任務是在佇列裡依序執行的,當請求到達Redis發現Key過期時,進行一個操作:設定鎖定。
這個流程大概如下:
請求到達Redis,發現Redis Key過期,查看有沒有鎖,沒有鎖的話回到佇列後面排隊
設定鎖,注意,這兒應該是setnx(),而不是set(),因為可能有其他執行緒已經設定鎖了
取得鎖,拿到鎖了就去資料庫取數據,請求返回後釋放鎖。
但是引出了一個新的問題,如果拿到鎖去拿資料的請求然後掛了怎麼辦?也就是鎖定沒有釋放,其他進程都在等鎖,解決辦法是:
對鎖設定一個過期時間,如果到達了過期時間還沒釋放就自動釋放,問題又來了,鎖掛了好說,但是如果是鎖超時呢?也就是在設定的時間裡資料沒有取出來,但是鎖由過期了,常見的思路是,鎖過期時間值遞增,但是想想不靠譜,因為第一個請求可能超時,如果後面的也超時呢,接連多次超時之後,鎖過期時間值勢必特別大了,這樣做弊端太多。
另一個想法是,再開啟一個線程,進行監控,如果取資料的線程沒有掛的話,就適當延遲鎖的過期時間。
4、穿透
穿透主要原因是許多請求都在存取資料庫不存在的數據,例如一個賣書的商城一直被請求查詢茶葉產品,由於Redis緩存主要是用來緩存熱點數據,對於數據庫都不存在的數據,是沒法緩存的,這種異常流量就會直接到達數據庫並且返回"沒有"的查詢結果。
應對這種要求,處理辦法是對存取請求加上一層過濾器,例如布隆過濾器、增強版布隆過濾器、布穀鳥過濾器。
除了布隆過濾器,可以增加一些參數檢驗,例如資料庫資料id一般都是遞增的,如果請求id = -10 這種參數,勢必繞過Redis,避免這種情況,可以對使用者真實性檢驗等操作。
5、雪崩
雪崩,和擊穿類似,不同的是擊穿是一個熱點Key某時刻失效,而雪崩是大量的熱點Key在一瞬間失效,網路上很多部落格都在強調解決雪崩的策略是隨機過期時間,這個非常不準確,舉個例子,銀行做活動,之前這個利息係數為2%,過了零點係數改為3%,這種情況能將用戶的對應的key改為隨機過期嗎?如果用的過去的數據叫髒數據。
明顯不可以,同樣存錢 f0c;你存到年底利息300萬,隔壁才200萬,這不得打架啊,開玩笑~
正確的思路是,首先要看看這個Key過期是不是時點性有關,時點性無關的話,可以隨機過期時間解決。
如果是時點性有關,例如剛剛說的銀行某一天改變某係數,那麼就要利用強依賴擊穿方案,策略是先過去的線程更新一下所有key。
在後台更新熱點key的同時,業務層將進來的請求延時一下,例如短暫的睡幾毫秒或秒,給後面的更新熱點key分散壓力。
以上是Redis擊穿穿透雪崩產生原因為何及怎麼解決的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

AI Hentai Generator
免費產生 AI 無盡。

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

熱門話題

Redis集群模式通過分片將Redis實例部署到多個服務器,提高可擴展性和可用性。搭建步驟如下:創建奇數個Redis實例,端口不同;創建3個sentinel實例,監控Redis實例並進行故障轉移;配置sentinel配置文件,添加監控Redis實例信息和故障轉移設置;配置Redis實例配置文件,啟用集群模式並指定集群信息文件路徑;創建nodes.conf文件,包含各Redis實例的信息;啟動集群,執行create命令創建集群並指定副本數量;登錄集群執行CLUSTER INFO命令驗證集群狀態;使

如何清空 Redis 數據:使用 FLUSHALL 命令清除所有鍵值。使用 FLUSHDB 命令清除當前選定數據庫的鍵值。使用 SELECT 切換數據庫,再使用 FLUSHDB 清除多個數據庫。使用 DEL 命令刪除特定鍵。使用 redis-cli 工具清空數據。

使用 Redis 指令需要以下步驟:打開 Redis 客戶端。輸入指令(動詞 鍵 值)。提供所需參數(因指令而異)。按 Enter 執行指令。 Redis 返迴響應,指示操作結果(通常為 OK 或 -ERR)。

Redis 使用單線程架構,以提供高性能、簡單性和一致性。它利用 I/O 多路復用、事件循環、非阻塞 I/O 和共享內存來提高並發性,但同時存在並發性受限、單點故障和不適合寫密集型工作負載的局限性。

理解 Redis 源碼的最佳方法是逐步進行:熟悉 Redis 基礎知識。選擇一個特定的模塊或功能作為起點。從模塊或功能的入口點開始,逐行查看代碼。通過函數調用鏈查看代碼。熟悉 Redis 使用的底層數據結構。識別 Redis 使用的算法。

Redis 使用哈希表存儲數據,支持字符串、列表、哈希表、集合和有序集合等數據結構。 Redis 通過快照 (RDB) 和追加只寫 (AOF) 機制持久化數據。 Redis 使用主從復制來提高數據可用性。 Redis 使用單線程事件循環處理連接和命令,保證數據原子性和一致性。 Redis 為鍵設置過期時間,並使用 lazy 刪除機制刪除過期鍵。

要從 Redis 讀取隊列,需要獲取隊列名稱、使用 LPOP 命令讀取元素,並處理空隊列。具體步驟如下:獲取隊列名稱:以 "queue:" 前綴命名,如 "queue:my-queue"。使用 LPOP 命令:從隊列頭部彈出元素並返回其值,如 LPOP queue:my-queue。處理空隊列:如果隊列為空,LPOP 返回 nil,可先檢查隊列是否存在再讀取元素。

使用Redis進行鎖操作需要通過SETNX命令獲取鎖,然後使用EXPIRE命令設置過期時間。具體步驟為:(1) 使用SETNX命令嘗試設置一個鍵值對;(2) 使用EXPIRE命令為鎖設置過期時間;(3) 當不再需要鎖時,使用DEL命令刪除該鎖。
