mysql怎麼保證訊息的順序性
我舉個例子,我們以前做過一個mysql binlog
同步的系統,壓力還是非常大的,日同步資料要達到上億,就是說資料從一個mysql 函式庫原封不動地同步到另一個mysql 函式庫裡面去(mysql -> mysql)。常見的一點在於說例如大數據 team,就需要同步一個 mysql 函式庫過來,對公司的業務系統的資料做各種複雜的操作。
你在mysql 裡增刪改一條數據,對應出來了增刪改3 條 binlog
日誌,接著這三條 binlog
發送到MQ 裡面,再消費出來依次執行,起碼得保證人家是依照順序來的吧?不然本來是:增加、修改、刪除;你楞是換了順序給執行成刪除、修改、增加,不全錯了麼。
本來這個資料同步過來,應該最後這個資料被刪除了;結果你搞錯了這個順序,最後這個資料保留下來了,資料同步就出錯了。
先看看順序會錯亂的兩個場景:
RabbitMQ:一個 queue,多個 consumer。例如,生產者向 RabbitMQ 裡發送了三條數據,順序依序是 data1/data2/data3,壓入的是 RabbitMQ 的記憶體佇列。有三個消費者分別從 MQ 消費這三條資料中的一條,結果消費者2先執行完操作,把 data2 存入資料庫,然後是 data1/data3。這不明顯亂了。
Kafka:比如說我們建了一個 topic,有三個 partition。生產者在寫的時候,其實可以指定一個key,比如說我們指定了某個訂單id 作為key,那麼這個訂單相關的數據,一定會被分發到同一個partition 中去,而且這個partition 中的數據一定是有順序的。
消費者從 partition 取出來資料的時候,也一定是有順序的。到這裡,順序還是 ok 的,沒有錯亂。接著,我們在消費者裡可能會搞多個執行緒來並發處理訊息。因為如果消費者是單執行緒消費處理,而處理比較耗時的話,例如處理一則訊息耗時幾十 ms,那麼 1 秒鐘只能處理幾十則訊息,這吞吐量太低了。而多個線程並發跑的話,順序可能就亂掉了。
解決方案
RabbitMQ
拆分多個queue,每個queue 一個consumer,就是多一些queue 而已,確實是麻煩點;或者就一個queue 但是對應一個consumer,然後這個consumer 內部用內存隊列做排隊,然後分發給底層不同的worker 來處理。
Kafka
一個 topic,一個 partition,一個 consumer,內部單執行緒消費,單執行緒吞吐量太低,一般不會用這個。
寫N 個記憶體queue,具有相同key 的資料都到同一個記憶體queue;然後對於N 個線程,每個執行緒分別消費一個記憶體queue 即可,這樣就能保證順序性。
以上是mysql怎麼保證訊息的順序性的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

Laravel 是一款 PHP 框架,用於輕鬆構建 Web 應用程序。它提供一系列強大的功能,包括:安裝: 使用 Composer 全局安裝 Laravel CLI,並在項目目錄中創建應用程序。路由: 在 routes/web.php 中定義 URL 和處理函數之間的關係。視圖: 在 resources/views 中創建視圖以呈現應用程序的界面。數據庫集成: 提供與 MySQL 等數據庫的開箱即用集成,並使用遷移來創建和修改表。模型和控制器: 模型表示數據庫實體,控制器處理 HTTP 請求。

MySQL和phpMyAdmin是強大的數據庫管理工具。 1)MySQL用於創建數據庫和表、執行DML和SQL查詢。 2)phpMyAdmin提供直觀界面進行數據庫管理、表結構管理、數據操作和用戶權限管理。

MySQL与其他编程语言相比,主要用于存储和管理数据,而其他语言如Python、Java、C 则用于逻辑处理和应用开发。MySQL以其高性能、可扩展性和跨平台支持著称,适合数据管理需求,而其他语言在各自领域如数据分析、企业应用和系统编程中各有优势。

在開發一個小型應用時,我遇到了一個棘手的問題:需要快速集成一個輕量級的數據庫操作庫。嘗試了多個庫後,我發現它們要么功能過多,要么兼容性不佳。最終,我找到了minii/db,這是一個基於Yii2的簡化版本,完美地解決了我的問題。

文章摘要:本文提供了詳細分步說明,指導讀者如何輕鬆安裝 Laravel 框架。 Laravel 是一個功能強大的 PHP 框架,它 упростил 和加快了 web 應用程序的開發過程。本教程涵蓋了從系統要求到配置數據庫和設置路由等各個方面的安裝過程。通過遵循這些步驟,讀者可以快速高效地為他們的 Laravel 項目打下堅實的基礎。

在使用Thelia開發電商網站時,我遇到了一個棘手的問題:MySQL模式設置不當,導致某些功能無法正常運行。經過一番探索,我找到了一個名為TheliaMySQLModesChecker的模塊,它能夠自動修復Thelia所需的MySQL模式,徹底解決了我的困擾。

在MySQL中,外鍵的作用是建立表與表之間的關係,確保數據的一致性和完整性。外鍵通過引用完整性檢查和級聯操作維護數據的有效性,使用時需注意性能優化和避免常見錯誤。

MySQL和MariaDB的主要區別在於性能、功能和許可證:1.MySQL由Oracle開發,MariaDB是其分支。 2.MariaDB在高負載環境中性能可能更好。 3.MariaDB提供了更多的存儲引擎和功能。 4.MySQL採用雙重許可證,MariaDB完全開源。選擇時應考慮現有基礎設施、性能需求、功能需求和許可證成本。
