首頁 資料庫 Redis 詳細介紹訊息隊列的概念、原則及使用場景(附案例)

詳細介紹訊息隊列的概念、原則及使用場景(附案例)

Nov 23, 2019 pm 05:02 PM
php redis 訊息佇列

詳細介紹訊息隊列的概念、原則及使用場景(附案例)

眾所周知在對網站設計的時候,會遇到給用戶“群發短信”,“訂單系統有大量的日誌”,“秒殺設計”等,服務器沒法處理這種瞬間迸發的壓力,這種情況要確保系統正常有效的使用,就需要「訊息佇列」的幫助。本篇主要透過訊息佇列的思路進行學習。

主要了解以下知識:

  1、隊列是個什麼東西,他能幹嘛?

  2、對列的應用場景有哪些?

  3、如何使用佇列對業務進行解偶?

  4、如何使用Redis隊列來消除高壓力?

  5、專業的對列系統RabbitMQ如何使用?

歸納如下主要內容

  @訊息佇列的概念,原理與場景

  @解耦案例:佇列處理訂單系統和配送系統

  @流量削峰案例:Redis的List類型實作秒殺

  @RabbitMQ:更專業的訊息系統實作方案

#  @RabbitMQ:更專業的訊息系統實作方案

一、認識訊息佇列

1.1 訊息對列概念

本質上說訊息對列就是一個佇列結構的中間件,也就是說訊息放入這個中間件之後就可以直接回傳,並不需要係統立即處理,而另外會有一個程式讀取這些數據,並依序進行逐次處理。

也就是說當你遇到一個並發特別大並且耗時特別長同時還不需要立即返回處理結果,使用訊息佇列可以解決這類問題。

1.2 核心結構

由一個業務系統進行入隊,把訊息逐次插入到訊息佇列中,插入成功之後直接返回成功的結果,後續會有一個訊息處理系統,這個系統會把訊息系統中的紀錄逐次取出並處理,完成一個出隊的流程。

1.3 應用場景

資料冗餘:例如訂單系統,後續需要嚴格的進行資料轉換和記錄,訊息佇列可以把這些資料持久化的儲存在佇列中,然後有訂單,後續處理程序進行獲取,後續處理完之後在把這條記錄進行刪除來保證每一條記錄都能夠處理完成。

系統解耦:使用訊息系統之後,入隊系統和出隊系統是分開的,也就說只要一天崩潰了,不會影響另外一台系統正常運作。

流量削峰:例如秒殺和搶購,我們可以配合快取來使用訊息佇列,能夠有效的頂住瞬間訪問量,防止伺服器承受不住導致崩潰。

非同步通訊:訊息本身使用入隊之後可以直接回傳。

擴充功能:例如訂單佇列,不僅可以處理訂單,還可以給其他業務使用。

排序保證:有些場景需要按照產品的順序進行處理例如單進單出從而保證資料按照一定的順序處理,使用訊息佇列是可以的。

以上都是訊息佇列常見的使用場景,當然訊息佇列只是一個中間件,可以配合其他產品來使用。

1.4 常見佇列實作優缺點

佇列媒體

1、資料庫,例如mysql(可靠性高,易實現,速度慢)

2 、緩存, 例如redis (速度快,單一訊息報包過大時效率低)

3、訊息系統,例如rabbitMq (專業性強,可靠,學習成本高)

訊息處理觸發機制1、死循環方式讀取:易實現,故障時無法及時恢復;(比較適合做秒殺,比較集中,維運集中維護)2、定時任務:壓力均分,有處理上限;目前比較流行的處理觸發機制。 (唯一的缺點是間隔和資料需要注意,不要等上一個任務沒有完成下一個任務又開始了)#3、守護程式:類似php-fpm 和php-cg,需要shell基礎

二、解藕案例:佇列處理「

訂單系統

」和「###配送系統###」#########對於訂單流程,我們可以設計兩個系統,一個是“訂單系統” 另外一個是“配送系統”, 在網購的時候我們應該都見過,當我提交了一個訂單之後,我在後台可以看到我的貨物正在配送中。這個時候就要參與一個「配送系統」。 ######如果我們在做架構的時候把「訂單系統」 和「配送系統」 設計在一起的話就會出現一些問題,首先對於訂單系統來說,因為系統的壓力會比較大,但是"配送系統" 沒必要為這些壓力做一些即時的反應。 ###

第二個我們也不希望在訂單系統故障之後導致配送系統也出現故障,這個時候就會同時影響到兩個系統的正常運作。所以我們希望把這兩個系統進行解耦。這兩個系統分開之後我們可以透過一個中間的 「隊列表」 進行這兩個系統的溝通。

2.1 架構設計

詳細介紹訊息隊列的概念、原則及使用場景(附案例)

1、先訂單系統會接收使用者的訂單,然後進行訂單的處理。

2、然後會把這些訂單資訊寫到隊伍清單中,這個隊清單是溝通這兩個系統的關鍵。

3、由配送系統定時執行的一個程式來讀取隊列表進行處理。

4、配送系統處理之後,會把已處理的記錄標記。

2.2 程式流程

詳細介紹訊息隊列的概念、原則及使用場景(附案例)

三、流量削峰案例:Redis 的list 類型實作秒殺

redis基於內存,它的速度會非常快,redis 對資料庫有一個非常好的補充作用因為它是可持久化的,redis會週期性的把數據寫到硬碟裡,所以它不用擔心斷電的問題,從這方面說它比另一款快取memcache 更有優勢些,另外redis 提供五種資料型別(字串,雙向鍊錶,哈希,集合,有序集合)

一般情況下,做秒殺案例,搶購,瞬間高比你高發,需要排隊的案例中redis是一個很好的選擇。

3.1 redis資料型別中的 list 型別

  redis 的list 是雙向鍊錶,可以從頭部或尾部追加資料。

  * LPUSH/LPUSHX :將值插入到(/存在的)列表頭部

  * RPUSH/RPUSHX: 將值插入到(/存在的)列表尾部

  * LPOP : 移除並取得清單的第一個元素

  * RPOP: 移除並取得清單的最後一個元素

  * LTRIM: 保留指定區間內的元素

#  * LLEN: 取得清單長度

  * LSET: 透過索引設定清單元素的值

  * LINDEX: 透過索引取得清單中的元素

##  * LRANGE:取得清單指定範圍內的元素

3.2 架構設計

一個簡單結構秒殺的程式設計。

1、首先記錄是哪一個使用者參與了秒殺同時記錄他的時間。

2、將使用者的id存到redis清單中,讓它排隊。如果規定只有前10個使用者可以參與成功,如果清單中的個數已經夠了就不會讓它繼續追加資料。這樣redis的列表長度只會是10個

3、最後在慢慢的將redis中的資料寫入到資料庫中,以減少資料的壓力

3.3 程式碼級設計

1、當使用者開始秒殺時,將秒殺程式的請求寫入Redis (uid, time_stamp)。

2、假使規定只有10人可以秒殺成功,檢查 Redis 已經存放資料的長度,超出上限直接丟棄說明秒殺完成。

3、最後在死循環處理存入Redis中的10條數據,然後在慢慢的取數據並存入到mysql資料庫中。

在秒殺這一塊對資料庫的壓力特別的大,如果我們沒有這樣的設計,會造成mysql的寫入瓶頸。我們透過Redis的一個對列list,然後把秒殺的請求放入到Redis裡面, 最後透過入庫程序,把資料慢慢的寫入到資料庫,這樣的話就可以實現流量的均衡,對mysql不會造成太大的壓力。

四、RabbitMQ

這裡講解一些RabbitMQ的使用,首先我們之前講秒殺案例的時候提到了鎖的機制,防止其他程序處理同一筆記錄,如果我們的系統架構非常的複雜,有多個程序實時的讀取一個隊列,或者我有多個發送程序,同時來操作一個或多個隊列,甚至我還想這些程序分佈在不同的機器上,這種情況下用redis隊列就有些力不從心了。這種時候該怎麼辦呢,我們就需要來引進一些更專業的訊息佇列系統,這些系統可以更好的來解決問題。

4.1 RabbitMQ的架構與原理

 特性:完整的實現了AMQP,群集簡化,持久化,跨平台

#RabbitMQS使用

1、RabbitMQ安裝(rabbitmq-server, php-amqplib)

2、生產者向訊息通道發送訊息

3、消費者處理訊息

工作佇列

想法:由生產者傳送給訊息系統,訊息系統把任務封裝成訊息佇列之後,然後供多個消費者使用同一個佇列

這不僅解決了生產者和消費者之間的解耦,還可以實現了消費者和任務的共享,減緩了伺服器的壓力。

五、總結

以上主要學習訊息佇列的概念,原理,場景。解耦案例,以及了解RabbitMQ的簡單使用方法。

六、問題

redis 和訊息伺服器 選擇的最大差異是什麼。

我的理解是Redis 是一個處理請求,redis屬於單一線程,它和訊息伺服器IO 的實作方式不同,一個是同步一個是異步,而redis使用的是同步阻塞,而訊息伺服器使用的是異步非阻塞。

更多Redis相關知識,請造訪Redis使用教學欄位!  

以上是詳細介紹訊息隊列的概念、原則及使用場景(附案例)的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

PHP和Python:比較兩種流行的編程語言 PHP和Python:比較兩種流行的編程語言 Apr 14, 2025 am 12:13 AM

PHP和Python各有優勢,選擇依據項目需求。 1.PHP適合web開發,尤其快速開發和維護網站。 2.Python適用於數據科學、機器學習和人工智能,語法簡潔,適合初學者。

PHP:網絡開發的關鍵語言 PHP:網絡開發的關鍵語言 Apr 13, 2025 am 12:08 AM

PHP是一種廣泛應用於服務器端的腳本語言,特別適合web開發。 1.PHP可以嵌入HTML,處理HTTP請求和響應,支持多種數據庫。 2.PHP用於生成動態網頁內容,處理表單數據,訪問數據庫等,具有強大的社區支持和開源資源。 3.PHP是解釋型語言,執行過程包括詞法分析、語法分析、編譯和執行。 4.PHP可以與MySQL結合用於用戶註冊系統等高級應用。 5.調試PHP時,可使用error_reporting()和var_dump()等函數。 6.優化PHP代碼可通過緩存機制、優化數據庫查詢和使用內置函數。 7

PHP的目的:構建動態網站 PHP的目的:構建動態網站 Apr 15, 2025 am 12:18 AM

PHP用於構建動態網站,其核心功能包括:1.生成動態內容,通過與數據庫對接實時生成網頁;2.處理用戶交互和表單提交,驗證輸入並響應操作;3.管理會話和用戶認證,提供個性化體驗;4.優化性能和遵循最佳實踐,提升網站效率和安全性。

PHP的當前狀態:查看網絡開發趨勢 PHP的當前狀態:查看網絡開發趨勢 Apr 13, 2025 am 12:20 AM

PHP在現代Web開發中仍然重要,尤其在內容管理和電子商務平台。 1)PHP擁有豐富的生態系統和強大框架支持,如Laravel和Symfony。 2)性能優化可通過OPcache和Nginx實現。 3)PHP8.0引入JIT編譯器,提升性能。 4)雲原生應用通過Docker和Kubernetes部署,提高靈活性和可擴展性。

PHP行動:現實世界中的示例和應用程序 PHP行動:現實世界中的示例和應用程序 Apr 14, 2025 am 12:19 AM

PHP在電子商務、內容管理系統和API開發中廣泛應用。 1)電子商務:用於購物車功能和支付處理。 2)內容管理系統:用於動態內容生成和用戶管理。 3)API開發:用於RESTfulAPI開發和API安全性。通過性能優化和最佳實踐,PHP應用的效率和可維護性得以提升。

PHP的持久相關性:它還活著嗎? PHP的持久相關性:它還活著嗎? Apr 14, 2025 am 12:12 AM

PHP仍然具有活力,其在現代編程領域中依然佔據重要地位。 1)PHP的簡單易學和強大社區支持使其在Web開發中廣泛應用;2)其靈活性和穩定性使其在處理Web表單、數據庫操作和文件處理等方面表現出色;3)PHP不斷進化和優化,適用於初學者和經驗豐富的開發者。

PHP與Python:核心功能 PHP與Python:核心功能 Apr 13, 2025 am 12:16 AM

PHP和Python各有優勢,適合不同場景。 1.PHP適用於web開發,提供內置web服務器和豐富函數庫。 2.Python適合數據科學和機器學習,語法簡潔且有強大標準庫。選擇時應根據項目需求決定。

PHP與其他語言:比較 PHP與其他語言:比較 Apr 13, 2025 am 12:19 AM

PHP適合web開發,特別是在快速開發和處理動態內容方面表現出色,但不擅長數據科學和企業級應用。與Python相比,PHP在web開發中更具優勢,但在數據科學領域不如Python;與Java相比,PHP在企業級應用中表現較差,但在web開發中更靈活;與JavaScript相比,PHP在後端開發中更簡潔,但在前端開發中不如JavaScript。

See all articles