首頁 資料庫 Redis 詳細介紹訊息隊列的概念、原則及使用場景(附案例)

詳細介紹訊息隊列的概念、原則及使用場景(附案例)

Nov 23, 2019 pm 05:02 PM
php redis 訊息佇列

詳細介紹訊息隊列的概念、原則及使用場景(附案例)

眾所周知在對網站設計的時候,會遇到給用戶“群發短信”,“訂單系統有大量的日誌”,“秒殺設計”等,服務器沒法處理這種瞬間迸發的壓力,這種情況要確保系統正常有效的使用,就需要「訊息佇列」的幫助。本篇主要透過訊息佇列的思路進行學習。

主要了解以下知識:

  1、隊列是個什麼東西,他能幹嘛?

  2、對列的應用場景有哪些?

  3、如何使用佇列對業務進行解偶?

  4、如何使用Redis隊列來消除高壓力?

  5、專業的對列系統RabbitMQ如何使用?

歸納如下主要內容

  @訊息佇列的概念,原理與場景

  @解耦案例:佇列處理訂單系統和配送系統

  @流量削峰案例:Redis的List類型實作秒殺

  @RabbitMQ:更專業的訊息系統實作方案

#  @RabbitMQ:更專業的訊息系統實作方案

一、認識訊息佇列

1.1 訊息對列概念

本質上說訊息對列就是一個佇列結構的中間件,也就是說訊息放入這個中間件之後就可以直接回傳,並不需要係統立即處理,而另外會有一個程式讀取這些數據,並依序進行逐次處理。

也就是說當你遇到一個並發特別大並且耗時特別長同時還不需要立即返回處理結果,使用訊息佇列可以解決這類問題。

1.2 核心結構

由一個業務系統進行入隊,把訊息逐次插入到訊息佇列中,插入成功之後直接返回成功的結果,後續會有一個訊息處理系統,這個系統會把訊息系統中的紀錄逐次取出並處理,完成一個出隊的流程。

1.3 應用場景

資料冗餘:例如訂單系統,後續需要嚴格的進行資料轉換和記錄,訊息佇列可以把這些資料持久化的儲存在佇列中,然後有訂單,後續處理程序進行獲取,後續處理完之後在把這條記錄進行刪除來保證每一條記錄都能夠處理完成。

系統解耦:使用訊息系統之後,入隊系統和出隊系統是分開的,也就說只要一天崩潰了,不會影響另外一台系統正常運作。

流量削峰:例如秒殺和搶購,我們可以配合快取來使用訊息佇列,能夠有效的頂住瞬間訪問量,防止伺服器承受不住導致崩潰。

非同步通訊:訊息本身使用入隊之後可以直接回傳。

擴充功能:例如訂單佇列,不僅可以處理訂單,還可以給其他業務使用。

排序保證:有些場景需要按照產品的順序進行處理例如單進單出從而保證資料按照一定的順序處理,使用訊息佇列是可以的。

以上都是訊息佇列常見的使用場景,當然訊息佇列只是一個中間件,可以配合其他產品來使用。

1.4 常見佇列實作優缺點

佇列媒體

1、資料庫,例如mysql(可靠性高,易實現,速度慢)

2 、緩存, 例如redis (速度快,單一訊息報包過大時效率低)

3、訊息系統,例如rabbitMq (專業性強,可靠,學習成本高)

訊息處理觸發機制1、死循環方式讀取:易實現,故障時無法及時恢復;(比較適合做秒殺,比較集中,維運集中維護)2、定時任務:壓力均分,有處理上限;目前比較流行的處理觸發機制。 (唯一的缺點是間隔和資料需要注意,不要等上一個任務沒有完成下一個任務又開始了)#3、守護程式:類似php-fpm 和php-cg,需要shell基礎

二、解藕案例:佇列處理「

訂單系統

」和「###配送系統###」#########對於訂單流程,我們可以設計兩個系統,一個是“訂單系統” 另外一個是“配送系統”, 在網購的時候我們應該都見過,當我提交了一個訂單之後,我在後台可以看到我的貨物正在配送中。這個時候就要參與一個「配送系統」。 ######如果我們在做架構的時候把「訂單系統」 和「配送系統」 設計在一起的話就會出現一些問題,首先對於訂單系統來說,因為系統的壓力會比較大,但是"配送系統" 沒必要為這些壓力做一些即時的反應。 ###

第二個我們也不希望在訂單系統故障之後導致配送系統也出現故障,這個時候就會同時影響到兩個系統的正常運作。所以我們希望把這兩個系統進行解耦。這兩個系統分開之後我們可以透過一個中間的 「隊列表」 進行這兩個系統的溝通。

2.1 架構設計

詳細介紹訊息隊列的概念、原則及使用場景(附案例)

1、先訂單系統會接收使用者的訂單,然後進行訂單的處理。

2、然後會把這些訂單資訊寫到隊伍清單中,這個隊清單是溝通這兩個系統的關鍵。

3、由配送系統定時執行的一個程式來讀取隊列表進行處理。

4、配送系統處理之後,會把已處理的記錄標記。

2.2 程式流程

詳細介紹訊息隊列的概念、原則及使用場景(附案例)

三、流量削峰案例:Redis 的list 類型實作秒殺

redis基於內存,它的速度會非常快,redis 對資料庫有一個非常好的補充作用因為它是可持久化的,redis會週期性的把數據寫到硬碟裡,所以它不用擔心斷電的問題,從這方面說它比另一款快取memcache 更有優勢些,另外redis 提供五種資料型別(字串,雙向鍊錶,哈希,集合,有序集合)

一般情況下,做秒殺案例,搶購,瞬間高比你高發,需要排隊的案例中redis是一個很好的選擇。

3.1 redis資料型別中的 list 型別

  redis 的list 是雙向鍊錶,可以從頭部或尾部追加資料。

  * LPUSH/LPUSHX :將值插入到(/存在的)列表頭部

  * RPUSH/RPUSHX: 將值插入到(/存在的)列表尾部

  * LPOP : 移除並取得清單的第一個元素

  * RPOP: 移除並取得清單的最後一個元素

  * LTRIM: 保留指定區間內的元素

#  * LLEN: 取得清單長度

  * LSET: 透過索引設定清單元素的值

  * LINDEX: 透過索引取得清單中的元素

##  * LRANGE:取得清單指定範圍內的元素

3.2 架構設計

一個簡單結構秒殺的程式設計。

1、首先記錄是哪一個使用者參與了秒殺同時記錄他的時間。

2、將使用者的id存到redis清單中,讓它排隊。如果規定只有前10個使用者可以參與成功,如果清單中的個數已經夠了就不會讓它繼續追加資料。這樣redis的列表長度只會是10個

3、最後在慢慢的將redis中的資料寫入到資料庫中,以減少資料的壓力

3.3 程式碼級設計

1、當使用者開始秒殺時,將秒殺程式的請求寫入Redis (uid, time_stamp)。

2、假使規定只有10人可以秒殺成功,檢查 Redis 已經存放資料的長度,超出上限直接丟棄說明秒殺完成。

3、最後在死循環處理存入Redis中的10條數據,然後在慢慢的取數據並存入到mysql資料庫中。

在秒殺這一塊對資料庫的壓力特別的大,如果我們沒有這樣的設計,會造成mysql的寫入瓶頸。我們透過Redis的一個對列list,然後把秒殺的請求放入到Redis裡面, 最後透過入庫程序,把資料慢慢的寫入到資料庫,這樣的話就可以實現流量的均衡,對mysql不會造成太大的壓力。

四、RabbitMQ

這裡講解一些RabbitMQ的使用,首先我們之前講秒殺案例的時候提到了鎖的機制,防止其他程序處理同一筆記錄,如果我們的系統架構非常的複雜,有多個程序實時的讀取一個隊列,或者我有多個發送程序,同時來操作一個或多個隊列,甚至我還想這些程序分佈在不同的機器上,這種情況下用redis隊列就有些力不從心了。這種時候該怎麼辦呢,我們就需要來引進一些更專業的訊息佇列系統,這些系統可以更好的來解決問題。

4.1 RabbitMQ的架構與原理

 特性:完整的實現了AMQP,群集簡化,持久化,跨平台

#RabbitMQS使用

1、RabbitMQ安裝(rabbitmq-server, php-amqplib)

2、生產者向訊息通道發送訊息

3、消費者處理訊息

工作佇列

想法:由生產者傳送給訊息系統,訊息系統把任務封裝成訊息佇列之後,然後供多個消費者使用同一個佇列

這不僅解決了生產者和消費者之間的解耦,還可以實現了消費者和任務的共享,減緩了伺服器的壓力。

五、總結

以上主要學習訊息佇列的概念,原理,場景。解耦案例,以及了解RabbitMQ的簡單使用方法。

六、問題

redis 和訊息伺服器 選擇的最大差異是什麼。

我的理解是Redis 是一個處理請求,redis屬於單一線程,它和訊息伺服器IO 的實作方式不同,一個是同步一個是異步,而redis使用的是同步阻塞,而訊息伺服器使用的是異步非阻塞。

更多Redis相關知識,請造訪Redis使用教學欄位!  

以上是詳細介紹訊息隊列的概念、原則及使用場景(附案例)的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

熱門話題

Java教學
1664
14
CakePHP 教程
1423
52
Laravel 教程
1317
25
PHP教程
1268
29
C# 教程
1243
24
PHP和Python:解釋了不同的範例 PHP和Python:解釋了不同的範例 Apr 18, 2025 am 12:26 AM

PHP主要是過程式編程,但也支持面向對象編程(OOP);Python支持多種範式,包括OOP、函數式和過程式編程。 PHP適合web開發,Python適用於多種應用,如數據分析和機器學習。

在PHP和Python之間進行選擇:指南 在PHP和Python之間進行選擇:指南 Apr 18, 2025 am 12:24 AM

PHP適合網頁開發和快速原型開發,Python適用於數據科學和機器學習。 1.PHP用於動態網頁開發,語法簡單,適合快速開發。 2.Python語法簡潔,適用於多領域,庫生態系統強大。

PHP和Python:深入了解他們的歷史 PHP和Python:深入了解他們的歷史 Apr 18, 2025 am 12:25 AM

PHP起源於1994年,由RasmusLerdorf開發,最初用於跟踪網站訪問者,逐漸演變為服務器端腳本語言,廣泛應用於網頁開發。 Python由GuidovanRossum於1980年代末開發,1991年首次發布,強調代碼可讀性和簡潔性,適用於科學計算、數據分析等領域。

PHP的影響:網絡開發及以後 PHP的影響:網絡開發及以後 Apr 18, 2025 am 12:10 AM

PHPhassignificantlyimpactedwebdevelopmentandextendsbeyondit.1)ItpowersmajorplatformslikeWordPressandexcelsindatabaseinteractions.2)PHP'sadaptabilityallowsittoscaleforlargeapplicationsusingframeworkslikeLaravel.3)Beyondweb,PHPisusedincommand-linescrip

PHP與Python:用例和應用程序 PHP與Python:用例和應用程序 Apr 17, 2025 am 12:23 AM

PHP適用於Web開發和內容管理系統,Python適合數據科學、機器學習和自動化腳本。 1.PHP在構建快速、可擴展的網站和應用程序方面表現出色,常用於WordPress等CMS。 2.Python在數據科學和機器學習領域表現卓越,擁有豐富的庫如NumPy和TensorFlow。

繼續使用PHP:耐力的原因 繼續使用PHP:耐力的原因 Apr 19, 2025 am 12:23 AM

PHP仍然流行的原因是其易用性、靈活性和強大的生態系統。 1)易用性和簡單語法使其成為初學者的首選。 2)與web開發緊密結合,處理HTTP請求和數據庫交互出色。 3)龐大的生態系統提供了豐富的工具和庫。 4)活躍的社區和開源性質使其適應新需求和技術趨勢。

PHP:服務器端腳本語言的簡介 PHP:服務器端腳本語言的簡介 Apr 16, 2025 am 12:18 AM

PHP是一種服務器端腳本語言,用於動態網頁開發和服務器端應用程序。 1.PHP是一種解釋型語言,無需編譯,適合快速開發。 2.PHP代碼嵌入HTML中,易於網頁開發。 3.PHP處理服務器端邏輯,生成HTML輸出,支持用戶交互和數據處理。 4.PHP可與數據庫交互,處理表單提交,執行服務器端任務。

PHP和網絡:探索其長期影響 PHP和網絡:探索其長期影響 Apr 16, 2025 am 12:17 AM

PHP在過去幾十年中塑造了網絡,並將繼續在Web開發中扮演重要角色。 1)PHP起源於1994年,因其易用性和與MySQL的無縫集成成為開發者首選。 2)其核心功能包括生成動態內容和與數據庫的集成,使得網站能夠實時更新和個性化展示。 3)PHP的廣泛應用和生態系統推動了其長期影響,但也面臨版本更新和安全性挑戰。 4)近年來的性能改進,如PHP7的發布,使其能與現代語言競爭。 5)未來,PHP需應對容器化、微服務等新挑戰,但其靈活性和活躍社區使其具備適應能力。

See all articles