在高並發訪問下,例如電商大促活動,流量持續不斷的湧入,服務之間的相互調用頻率突然增加,引發系統負載過高,這時系統所依賴的服務的穩定性對系統的影響非常大,而且還有很多不確定因素引起雪崩,如網路連線中斷,服務宕機等。一般微服務容錯組件提供了限流、隔離、降級、熔斷等手段,可以有效保護我們的微服務系統。本文主要說說限流。
限流,就是限制最大流量,防止操作頻率超過定義的限制。系統能提供的最大並發有限,同時請求又太多,這就需要限流,比如秒殺、大促活動業務,瞬時大量請求湧入,伺服器服務不過來,就只好限流了。速率限制透過限制在給定時間段內可以到達 API 的請求數量來保護服務免受意外或惡意過度使用。在沒有速率限制的情況下,任何用戶都可以用請求轟炸您的伺服器,從而導致其他用戶餓死的情況。
接下來,我們將介紹四種常見的限流演算法
漏桶演算法的思路,是一種簡單直覺的演算法,就是⼀個固定容量的漏桶,依照常量固定速率流出⽔滴。如果桶子是空的,則不需流出水滴。可以任意速率流入水滴到漏桶。如果流入水滴超出了桶的容量,則流入的水滴溢出了(被丟棄),而漏桶容量是不變的。
這種演算法的優點是它可以平滑請求的突發並以恆定的速率處理它們。它也很容易在負載平衡器上實現,並且對每個用戶來說都是高效的記憶體。無論請求的數量如何,都保持到伺服器的恆定接近均勻的流量。
缺點是請求的爆發可能會填滿儲存桶,導致新請求的匱乏。它也不能保證請求在給定的時間內完成。
優點:
缺點:
令牌桶演算法:假設限制2r/s,則依照500毫秒的固定速率往桶中添加令牌。桶中最多存放b個令牌,當桶滿時,新加入的令牌被丟棄或拒絕。當一個n個位元組大小的封包到達,將從桶中刪除n個令牌,接著封包被傳送到網路上。如果桶中的令牌不足n個,則不會刪除令牌,且該封包將被限流(要么丟棄,要么緩衝區等待)。令牌桶限流原理,如圖所示。
限流伺服器端的令牌桶可以根據實際服務效能和時間段來調整產生令牌的速度和桶的容量。當需要提高速率時,可以按需增加放入桶中的令牌速率
產生令牌的速度是恆定的,而請求取得令牌的速度沒有限制。這意味著當面對瞬時大流量時,該演算法可以在短時間內獲取大量令牌,而且獲取令牌的過程並不會消耗很多資源
當每次新的請求到達伺服器時,會執行兩個動作:
該演算法具有記憶體效率,因為我們為我們的應用程式為每個用戶節省了更少的資料量。這裡的問題是它可能導致分散式環境中的競爭條件。當來自兩個不同應用程式伺服器的兩個請求同時嘗試取得令牌時,就會發生這種情況。
優點:
由於計數器演算法存在時間臨界點缺陷,因此在時間臨界點左右的極短時間段內容易遭到攻擊。例如設定每分鐘最多可以請求100次某個接口,如12:00:00-12:00:59時間段內沒有資料請求,而12:00:59-12:01:00時間段突然並發100次請求,而緊接著跨入下一個計數週期,計數器清零,在12:01:00-12:01:01內又有100次請求。那麼也就是說在時間臨界點左右可能同時有2倍的閥值進行請求,從而造成後台處理請求過載的情況,導致系統運作能力不足,甚至導致系統崩潰。
缺點:
例如:限流是每秒3個,在第一秒的最後毫秒發送了3個請求,在第二秒的第一毫秒又發送了3個請求。在這兩毫米內處理了6個請求,但是並沒有觸發限流。如果出現突發流量,可能會壓垮伺服器。
滑動視窗⼝演算法是把固定時間間進行劃分,並且隨著時間移動,移動方式為開始時間點變成時間列表中的第二時間點,結束時間點增加一個時間點,不斷重複,透過這種方式可以巧妙的避開計數器的臨界點的問題。
滑動視窗演算法可以有效的規避計數器演算法中時間臨界點的問題,但是仍然存在時間片段的概念。同時滑動視窗演算法計數運算也相對固定時間視窗演算法比較耗時。
缺點:# 還是有限流不夠平滑的問題。例如:限流是每秒3個,在第一毫秒發送了3個請求,達到限流,剩餘視窗時間的請求都會被拒絕,體驗不好。
介紹了四種常用的限流演算法:固定視窗演算法、滑動視窗演算法、漏桶演算法和令牌桶演算法。每種演算法都有其特點和適用場景,下面我們將它們進行簡單的總結和比較。
以上是四種常用限流演算法掌握一身,面試必過的詳細內容。更多資訊請關注PHP中文網其他相關文章!