和Redis 實例交互的對象,以及交互時會發生的操作:
客戶端:網路IO,鍵值對增刪改查操作,資料庫操作;
磁碟:產生RDB 快照,記錄AOF 日誌,AOF 日誌重寫;
主從節點:主庫產生、傳輸RDB 文件,從庫接收RDB 文件、清空資料庫、載入RDB 文件;
和客戶端互動時的阻塞點:
網路IO 有時候會比較慢,但是Redis 使用了IO 多路復用機制,避免了主執行緒一直處在等待網路連線或請求到來的狀態,所以網路IO不是導致Redis 阻塞的因素。
Redis 主執行緒的主要任務是執行與客戶端互動的鍵值對的增刪改查操作。複雜度高的增刪改查操作肯定會阻塞 Redis。 判斷操作複雜度高低的標準:看操作的複雜度是否為 O(N)。
Redis 的第一個阻塞點:集合全量查詢與聚合操作:Redis 中涉及集合的操作複雜度通常為 O(N),使用時需重視。例如集合元素
全量查詢操作 HGETALL、SMEMBERS,以及集合的聚合統計操作,例如求交、並和差集。
bigkey 刪除。
不同元素數量的集合在進行刪除運算時所消耗的時間: 得出三個結論:建立和傳輸 RDB 檔案都是由子程序來完成的,不會阻塞主執行緒。 但從程式庫接收了 RDB 檔案後,就需要使用 FLUSHDB 指令清空目前資料庫,剛好撞上了第三個阻塞點。
部署Redis 切片叢集時,每個Redis 實例上指派的雜湊槽資訊需要在不同實例間傳遞,當需要進行負載平衡或有實例增刪時,資料會在不同的實例間進行遷移。不過哈希槽的資訊量不大,而資料遷移是漸進式執行的,這兩類操作對 Redis 主執行緒的阻塞風險不大。
如果使用了 Redis Cluster 方案,而且同時剛好遷移的是 bigkey 的話,就會造成主執行緒的阻塞,因為 Redis Cluster 使用了同步遷移。
五個阻塞點:
集合全量查詢與聚合運算;
bigkey 刪除;
清空資料庫;
AOF 日誌同步寫入;
從庫載入RDB 檔案。
為了避免阻塞式操作,Redis 提供了非同步執行緒機制:
Redis 會啟動一些子線程,然後把一些任務交給這些子線程,讓它們在後台完成,而不再由主線程來執行這些任務。可以避免阻塞主執行緒。
非同步執行對操作的要求:
一個能被非同步執行的操作並不是Redis 主執行緒的關鍵路徑上的操作(客戶端把請求傳送給Redis 後,等著Redis傳回資料結果的操作)。
主執行緒接收到操作1 後,操作1 並不用給客戶端回傳特定的數據,主執行緒可以把它交給後台子執行緒來完成,同時只要給客戶端回傳一個「OK」結果就行。
在子執行緒執行操作1 的時候,客戶端又向Redis 實例發送了操作2,客戶端是需要使用操作2 回傳的資料結果的,如果操作2 不回傳結果,那麼客戶端將一直處於等待狀態。
操作 1 就不算關鍵路徑上的操作,因為它不用給客戶端回傳具體數據,所以可以由後台子執行緒異步執行。
操作 2 需要把結果回傳給客戶端,它就是關鍵路徑上的操作,所以主執行緒必須立即把這個操作執行完。
Redis 讀取操作是典型的關鍵路徑操作,因為客戶端發送了讀取操作之後,就會等待讀取的資料返回,以便進行後續的資料處理。而 Redis 的第一個阻塞點「集合全量查詢 和聚合操作」都涉及到了讀取操作,不能進行非同步操作。
不需要將特定的資料結果傳回給客戶端的刪除操作不屬於關鍵路徑操作。 "Both 'bigkey deletion' and 'database clearance' involve deleting data, but they are not on the critical path."。可以使用後台子執行緒來非同步執行刪除操作。
“AOF 日誌同步寫入”,為了確保資料可靠性,Redis 實例需要保證AOF 日誌中的操作記錄已經落盤,這個操作雖然需要實例等待,但它並不會傳回具體的資料結果給實例。所以可以啟動一個子執行緒來執行 AOF 日誌的同步寫入。
為了提供客戶端資料存取服務,必須載入完整的 RDB 檔案。這個操作也屬於關鍵路徑上的操作,必須讓從函式庫的主執行緒來執行。
除了“集合全量查詢和聚合操作”和“從庫加載RDB 文件”,其他三個阻塞點涉及的操作都不在關鍵路徑上,可以使用Redis 的非同步子執行緒機制來實作bigkey 刪除,清空資料庫,以及AOF 日誌同步寫入。
Redis 主執行緒啟動後,會使用作業系統提供的pthread_create 函數建立3 個子執行緒,負責AOF 日誌寫入操作、鍵值對刪除、檔案關閉的非同步執行。
主執行緒透過一個鍊錶形式的任務佇列和子執行緒進行互動。
當收到鍵值對刪除和清空資料庫的操作時,主執行緒會把這個操作封裝成一個任務,放入到任務佇列中,然後給客戶端傳回一個完成訊息,表示刪除已經完成。
但實際上,這個時候刪除還沒有執行,等到後台子執行緒從任務佇列中讀取任務後,才開始實際刪除鍵值對,並釋放對應的記憶體空間。這種非同步刪除也稱為惰性刪除 (lazy free)。
當 AOF 日誌配置成 everysec 選項後,主執行緒會把 AOF 寫日誌操作封裝成任務,也放到任務佇列中。一種重寫方式是: 當後台子執行緒讀取到任務後,即開始自行記錄到AOF日誌,主執行緒即可脫離對AOF日誌的依賴而繼續運作。
Redis 中的非同步子執行緒執行機制:
#異步的鍵值對刪除和資料庫清空操作是Redis 4.0 後提供的功能,Redis 也提供了新的命令來執行這兩個操作:
鍵值對刪除:集合類型中有大量元素(例如有百萬等級或千萬等級元素)需要刪除時,建議使用UNLINK 指令;
清空資料庫:可以在FLUSHDB 和FLUSHALL 指令後面加上ASYNC 選項,讓後台子執行緒非同步地清空資料庫。
FLUSHDB ASYNC FLUSHALL AYSNC
以上是Redis的非同步機制是什麼的詳細內容。更多資訊請關注PHP中文網其他相關文章!