首頁 > Java > java教程 > 主體

Springboot非同步訊息處理的方法

PHPz
發布: 2023-05-11 11:25:12
轉載
1644 人瀏覽過

在工作中經常會碰到需要進行非同步訊息處理的業務場景,根據訊息性質的不同有完全不同的處理方式。

1、訊息不獨立

不獨立的訊息通常是有順序依賴關係,這時訊息處理機制將退化為線性佇列處理模式,只能由一個消費者去單線程處理訊息。

2、訊息完全獨立

完全獨立的訊息,可以由多個消費者(執行緒)並發同時處理,可以達到最大的並發處理能力。

3、訊息不完全獨立

通常這種情況是,同源訊息(來自同一生產者)要求有序,異源訊息順序無關。

這個場景的訊息處理會相對複雜點,為了保證同源訊息有序,很容易想到對同一來源的訊息綁定固定的消費者線程,這樣做很簡單但存在很大問題。

如果生產者數量很大,綁定線程數可能不夠,當然可以復用線程資源,同一線程綁定多個消息來源進行處理,這樣做又會有另一個問題:消息源之間的相互影響。

考慮以下場景:

生產者P1產生大量訊息進入佇列後被分配給消費性執行緒C1處理(C1可能需要處理很長時間),這時生產者P2產生了一個訊息,不幸的是也被分配給了消費線程C1處理

那麼生產者P2的訊息處理將被P1的大量訊息給阻塞住,導致了P1和P2之間的相互影響,而且也不能充分利用其它消費線程導致不均衡。

所以,我們必須考慮避免這樣的問題。做到消費處理的及時性(盡快)、隔離性(避免相互幹擾)、均衡性(最大化並發處理)

在實作中,會有兩種模式,比較容易想到的是線程派發模型(PUSH方式),具體做法通常如下:

1. 有一個全域訊息派遣者,輪詢佇列取出訊息。

2. 根據消息來源,派發給適當的消費執行緒處理。

派發的演算法機制​​簡單的可以類似像基於消息來源的Hash,複雜的可以根據各個消費線程的當前負載,等待隊列長短、消息的複雜度進行綜合分析選擇派發。

簡單Hash肯定會碰到上述場景描述的問題,但複雜派發計算很明顯實現起來非常麻煩和復雜,效率也不一定好,在均衡性方面也很難做到十分平衡。

第二種模式採用PULL方式,執行緒按需拉取,具體做法如下:

1. 訊息來源直接將產生的訊息放入對應該來源的臨時佇列中(如下所示每個session代表一個不同的消息來源),再將session置入一個阻塞隊列通知線程處理

2.  多個消費線程同時輪詢隊列,爭搶訊息(保證只有一個線程取到

3. 檢查佇列指示器是否正被其他執行緒處理(實作時需要在執行緒層級基於同源訊息的偵測同步)

4. 若未被其他執行緒處理,則在同步區置處理中指示狀態,退出同步區後對臨時佇列中的訊息進行處理

5. 處理完成後,最後再次進入同步區置處理指示狀態為空閒

以下用一段程式碼來描述下消費性執行緒處理流程:

public void run() {
	try {
		for (AbstractSession s = squeue.take(); s != null; s = squeue.take()) {					
			// first check any worker is processing this session? 
                        // if any other worker thread is processing this event with same session, just ignore it.
			synchronized (s) {
				if (!s.isEventProcessing()) {
					s.setEventProcessing(true);
				} else {
					continue;
				}
			}
					
			// fire events with same session
			fire(s);
					
			// last reset processing flag and quit current thread processing
			s.setEventProcessing(false);
					
			// if remaining events, so re-insert to session queue
			if (s.getEventQueue().size() > 0 && !s.isEventProcessing()) {
				squeue.offer(s);
			}
		}
	} catch (InterruptedException e) {
		LOG.warn(e.getMessage(), e);
	}
}
登入後複製

以上是Springboot非同步訊息處理的方法的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:yisu.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板