下面由Redis教學專欄給大家介紹如何確保Redis的高並發,希望對需要的朋友有幫助!
單機的redis幾乎不太可能說QPS超過10萬 ,一般在幾萬。
除非一些特殊情況,例如你的機器性能特別好,配置特別高,物理機,維護做的特別好,而且你的整體的操作不是太複雜。
Redis透過主從架構,實現讀寫分離,主節點負責寫,並將資料同步給其他從節點,從節點負責讀,從而實現高並發。
Redis高並發的同時,還需要容納大量的資料:一主多從,每個實例都容納了完整的數據,例如redis主就10G的內存量,其實你就最對只能容納10g的資料量。如果你的快取要容納的資料量很大,達到了幾十g,甚至幾百g,或者是幾t,那你就需要redis集群,而且用redis集群之後,可以提供可能每秒幾十萬的讀寫並發。
replication的核心機制
redis採用非同步方式複製資料到slave節點,不過redis 2.8開始,slave node會週期性地確認自己每次複製的資料量
一個master node是可以配置多個slave node的
# slave node也可以連接其他的slave node
slave node做複製的時候,是不會block master node的正常工作的
slave node在做複製的時候,也不會block對自己的查詢操作,它會用舊的資料集來提供服務; 但是複製完成的時候,需要刪除舊資料集,載入新資料集,這個時候就會暫停對外服務了
slave node主要用來進行橫向擴容,做讀寫分離,擴容的slave node可以提高讀取的吞吐量
# master持久化對於主從架構的安全保障的意義
如果採用了主從架構,那麼建議必須開啟master node的持久化!
不建議用slave node作為master node的資料熱備,因為那樣的話,如果你關掉master的持久化,可能在master宕機重啟的時候資料是空的,然後可能一經過複製,salve node資料也丟了
第二個,master的各種備份方案,要不要做,萬一說本地的所有檔案都遺失了;從備份中挑選一份rdb去恢復master; 這樣才能確保master啟動的時候,是有資料的
#
##master同步資料給slave的過程
當啟動一個slave node的時候,它會發送一個PSYNC指令給master node
# 如果這是slave node重新連接master node,那麼master node只會複製給slave部分缺少的資料; 否則如果是slave node第一次連接master node,那麼會觸發一次full resynchronization
開始full resynchronization的時候,master會啟動一個後台線程,開始產生一份RDB快照文件,同時還會將從客戶端收到的所有寫命令緩存在記憶體中。
RDB檔案產生完畢之後,master會將這個RDB傳送給slave,slave會先寫入本機磁碟,然後再從本機磁碟載入到記憶體中。然後master會將記憶體中快取的寫入指令傳送給slave,slave也會同步這些資料。
slave node如果跟master node有網路故障,斷開了連接,會自動重連。 master如果發現有多個slave node都來重新連接,只會啟動一個rdb save操作,用一份資料服務所有slave node。
主從複製的斷點續傳
從redis 2.8開始,就支援主從複製的斷點續傳,如果主從複製過程中,網路連接斷掉了,那麼可以接著上次複製的地方,繼續複製下去,而不是從頭開始複製一份
master node會在記憶體中常見一個backlog,master和slave都會保存一個replica offset還有一個master id,offset就是保存在backlog中的。
如果master和slave網路連線斷掉了,slave會讓master從上次的replica offset開始繼續複製
但是如果沒有找到對應的offset,那麼就會執行一次resynchronization
無磁碟化複製
master在記憶體中直接創建rdb,然後發送給slave,不會在自己本地落地磁碟了
repl-diskless-sync
repl-diskless-sync-delay,等待一定時長再開始複製,因為要等更多slave重新連接過來
#過期key處理
slave不會過期key,只會等待master過期key。
如果master過期了一個key,或是透過LRU淘汰了一個key,那麼會模擬一條del指令發送給slave。
複製的完整流程
slave node啟動,只儲存master node的訊息,包括master node的host和ip(redis.conf裡面的slaveof配置的),但是複製流程沒開始
slave node內部有個定時任務,每秒檢查是否有新的master node要連接和複製,如果發現,就跟master node建立socket網路連線
slave node發送ping指令給master node
# 口令認證,如果master設定了requirepass,那麼salve node必須發送masterauth的口令過去進行認證
# master node第一次執行全量複製,將所有資料發給slave node
master node後續持續將寫入命令,非同步複製給slave node
#資料同步相關的核心機制
指的就是第一次slave連接msater的時候,執行的全量複製,那個過程裡面你的一些細節的機制
(1)master和slave都會維護一個offset
master會在自身不斷累加offset,slave也會在自身不斷累加offset
slave每秒都會上報自己的offset給master,同時master也會保存每個slave的offset
這個倒不是說特定就用在全量複製的,主要是master和slave都要知道各自的數據的offset,才能知道互相之間的數據不一致的情況
(2)backlog
# master node有一個backlog,預設是1MB大小
# master node複製slave node時,也會將資料在backlog中同步寫一份
backlog主要是用來做全量複製中斷候的增量複製的
#(3)master run id
info server,可以看到master run id
如果根據host ip定位master node,是不可靠的,如果master node重啟或資料出現了變化,那麼slave node應該根據不同的run id區分,run id不同就做全量複製
如果需要不更改run id重啟redis ,可以使用redis-cli debug reload指令
(4)psync
從節點使用psync從master node複製,psync runid offset
master node會根據自身的情況回傳回應訊息,可能是FULLRESYNC runid offset觸發全量複製,可能是CONTINUE觸發增量複製
#
全量複製
master執行bgsave,在本機產生一份rdb快照檔案
master node將rdb快照檔案傳送給salve node,如果rdb複製時間超過60秒(repl-timeout) ,那麼slave node就會認為複製失敗,可以適當調節大這個參數
對於千兆網卡的機器,一般每秒傳輸100MB,6G文件,很可能超過60s
master node在產生rdb時,會將所有新的寫入指令快取在記憶體中,在salve node儲存了rdb之後,再將新的寫入指令複製給salve node
# client-output-buffer-limit slave 256MB 64MB 60,如果在複製期間,內存緩衝區持續消耗超過64MB,或者一次性超過256MB,那麼停止複製,複製失敗
slave node接收到rdb之後,清空自己的舊數據,然後重新加載rdb到自己的內存中,同時基於舊的數據版本對外提供服務
如果slave node開啟了AOF,那麼會立即執行BGREWRITEAOF,重寫AOF
增量複製
如果全量複製過程中,master- slave網路連線斷掉,那麼salve重新連線master時,會觸發增量複製
master直接從自己的backlog中取得部分遺失的數據,傳送給slave node,預設backlog就是1MB
msater就是根據slave發送的psync中的offset來從backlog中取得資料的
heartbeat
# 主從節點互相都會發送heartbeat訊息
master預設每隔10秒發送一次heartbeat,salve node每隔1秒發送一個heartbeat
非同步複製
master每次接收到寫入命令之後,現在內部寫入數據,然後異步發送給slave node
以上是你知道怎麼保證Redis的高併發嗎的詳細內容。更多資訊請關注PHP中文網其他相關文章!