后端分布式系列:分布式存储-MySQL数据库事务与复制_MySQL
好久没有写技术文章了,因为一直在思考 「后端分布式」这个系列到底怎么写才合适。最近基本想清楚了,「后端分布式」包括「分布式存储」和 「分布式计算」两大类。结合实际工作中碰到的问题,以寻找答案的方式来剖解技术,很多时候我们都不是在创造新技术,而是在应用技术。为了更有效率与效果的用好技术,我们需要了解一些技术的原理与工作方式。带着问题从使用者的角度去剖析技术原理,并将开源技术产品和框架作为一类技术的参考实现来讲解。以讲清原理为主要目的,对于具体实现的技术细节若无特别之处则尽可能点到即止。
事务与复制
近期参与了一个数据分布化相关的项目,涉及到数据库 MySQL 的数据分布化。简单来说就是需要在异地数据中心实现多点可写并保证分布后的数据能达成最终一致性。以前对 MySQL 作数据分布仅仅是读写分离,通过数据库自身的主从复制即可实现写主库、读从库。现在则需要双写主库并在经历一个短暂的延时后达成最终一致性,这个问题乍一想比较复杂,但归根结底还是数据最终一致性的问题。
先回到最简单的情况,只有一个 MySQL 数据库时,数据一致性是怎么保证的?了解数据库的都知道,这是通过数据库的事务特性来保证的,事务包括四大特性:
Atomicity 原子性 Consistency 一致性 Isolation 隔离性 Durability 持久性事务的 ACID 四大特性不是本文重点,就不展开做学术性解说了,不了解的可以在后面参考文献里[3]去看相关文章。这里只想提一个问题,单一数据库事务能保证数据的一致性,那么 MySQL 在部署成主从架构时,如何保证主从之间数据的一致性的?
MySQL 为了提供主从复制功能引入了一个新的日志文件叫 binlog,它包含了引发数据变更的事件日志集合。从库请求主库发送 binlog 并通过日志事件还原数据写入从库,所以从库的数据来源为 binlog。这样 MySQL 主库只需做到 binlog 与本地数据一致就可以保证主从库数据一致(暂且忽略网络传输引发的主从不一致)。我们知道保证本地数据一致性是靠数据库事务特性来达成的,而数据库事务是如何实现的呢?先看下面这张图:
vcrHu/nT2iByZWRvIGxvZyC6zSB1bmRvIGxvZ6GjvPK1pcC0y7WjrHJlZG8gbG9nILzHwrzKws7x0N64xLrztcTK/b7dLCB1bmRvIGxvZyC8x8K8ysLO8cewtcTUrcq8yv2+3aGjy/nS1LWx0ru49srCzvHWtNDQyrHKtbzKt6LJ+rn9s8y88ruvw+jK9sjnz8KjujwvcD4NCs/IvMfCvCB1bmRvL3JlZG8gbG9no6zIt7GjyNXWvsuitb20xcXMyc+z1r7DtOa0oqGjILj80MLK/b7dvMfCvKOsu7q05rLZ1/eyotLssr3LosXMoaMgzOG9u8rCzvGjrNTaIHJlZG8gbG9nINbQ0LTI6yBjb21taXQgvMfCvKGjDQo8cD7U2iBNeVNRTCDWtNDQysLO8bn9s8zW0MjnufvS8rnK1c/W0LbPo6y/ydLUzai5/SByZWRvIGxvZyDAtNbY1/bKws7xu/LNqLn9IHVuZG8gbG9nIMC0u9i59qOsyLexo8HLyv2+3bXE0rvWwtDUoaPV4tCptrzKx9PJysLO8dDUtOa0otL9x+bAtM3qs8m1xKOstasgYmlubG9nILK71NrKws7xtOa0otL9x+a3ts6nxNqjrLb4ysfTySBNeVNRTCBTZXJ2ZXIgwLS8x8K8tcSho8THw7S+zbHY0Ouxo9akIGJpbmxvZyDK/b7dus0gcmVkbyBsb2cg1q685LXE0rvWwtDUo6zL+dLUv6rG9MHLIGJpbmxvZyC688q1vMq1xMrCzvHWtNDQvs224MHL0ruyvaOsyOfPwqO6PC9wPg0Kz8i8x8K8IHVuZG8vcmVkbyBsb2ejrMi3saPI1da+y6K1vbTFxczJz7PWvsO05rSioaMguPzQwsr9vt28x8K8o6y7urTmstnX97Ki0uyyvcuixcyhoyC9q8rCzvHI1da+s9a+w7uvtb0gYmlubG9noaMgzOG9u8rCzvGjrNTaIHJlZG8gbG9nINbQ0LTI68zhvbu8x8K8oaMNCjxwPtXi0fm1xLuwo6zWu9KqIGJpbmxvZyDDu9C0s8m5pqOs1fu49srCzvHKx9Do0qq72Ln2tcSjrLb4IGJpbmxvZyDQtLPJuaa687y0yrkgTXlTUUwgQ3Jhc2ggwcu2vL/J0tS71ri0ysLO8bKizeqzyczhvbuho9Kq1/a1vdXiteOjrL7N0OjSqrDRIGJpbmxvZyC6zcrCzvG52MGqxvDAtKOstvjWu9PQsaPWpMHLIGJpbmxvZyC6zcrCzvHK/b7dtcTSu9bC0NSjrLLFxNyxo9ak1ve008r9vt21xNK71sLQ1KGjy/nS1CBiaW5sb2cgtcTQtMjruf2zzLK7tcOyu8e2yOu1vbS/tOK1xMrCzvG05rSi0v3H5ta00NC5/bPM1tCjrLKi0tTE2rK/t9ayvMq9ysLO8aOoeGEgysLO8aOptcS3vcq9zeqzycG9vde2zszhvbuho7340ruyvbXEz7i92r7NsrvVub+qwcujrL/J0tSyzr+0uvPD5rLOv7zOxM/XWzVdoaM8L3A+DQo8aDIgaWQ9"总结">总结
我们前面先提出了一个问题,然后从数据一致性的角度去思考,参考了 MySQL 的实现方式。理清并分析了 MySQL 单机环境是如何保证复制机制的数据一致性,也就是 binlog 和事务数据的一致。后面我们才能基于 binlog 这个机制去实现复制并保证主从复制的一致性。主从复制又引入了网络因素,进一步增加了保证主从数据一致性的复杂度,后面还会撰文进一步分析这个问题。

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

AI Hentai Generator
免費產生 AI 無盡。

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

熱門話題

Go語言是一種高效、簡潔且易於學習的程式語言,因其在並發程式設計和網路程式設計方面的優勢而備受開發者青睞。在實際開發中,資料庫操作是不可或缺的一部分,本文將介紹如何使用Go語言實作資料庫的增刪改查操作。在Go語言中,我們通常會使用第三方函式庫來操作資料庫,例如常用的sql套件、gorm等。這裡以sql包為例介紹如何實作資料庫的增刪改查操作。假設我們使用的是MySQL資料庫。

Hibernate多態映射可映射繼承類別到資料庫,提供以下映射類型:joined-subclass:為子類別建立單獨表,包含父類別所有欄位。 table-per-class:為子類別建立單獨資料表,僅包含子類別特有列。 union-subclass:類似joined-subclass,但父類別表聯合所有子類別列。

蘋果公司最新發布的iOS18、iPadOS18以及macOSSequoia系統為Photos應用程式增添了一項重要功能,旨在幫助用戶輕鬆恢復因各種原因遺失或損壞的照片和影片。這項新功能在Photos應用的"工具"部分引入了一個名為"已恢復"的相冊,當用戶設備中存在未納入其照片庫的圖片或影片時,該相冊將自動顯示。 "已恢復"相簿的出現為因資料庫損壞、相機應用未正確保存至照片庫或第三方應用管理照片庫時照片和視頻丟失提供了解決方案。使用者只需簡單幾步

HTML無法直接讀取資料庫,但可以透過JavaScript和AJAX實作。其步驟包括建立資料庫連線、發送查詢、處理回應和更新頁面。本文提供了利用JavaScript、AJAX和PHP來從MySQL資料庫讀取資料的實戰範例,展示如何在HTML頁面中動態顯示查詢結果。此範例使用XMLHttpRequest建立資料庫連接,發送查詢並處理回應,從而將資料填入頁面元素中,實現了HTML讀取資料庫的功能。

如何在PHP中使用MySQLi建立資料庫連線:包含MySQLi擴充(require_once)建立連線函數(functionconnect_to_db)呼叫連線函數($conn=connect_to_db())執行查詢($result=$conn->query())關閉連線( $conn->close())

PHP處理資料庫連線報錯,可以使用下列步驟:使用mysqli_connect_errno()取得錯誤代碼。使用mysqli_connect_error()取得錯誤訊息。透過擷取並記錄這些錯誤訊息,可以輕鬆識別並解決資料庫連接問題,確保應用程式的順暢運作。

事務確保資料庫資料完整性,包括原子性、一致性、隔離性和持久性。 JDBC使用Connection介面提供交易控制(setAutoCommit、commit、rollback)。並發控制機制協調並發操作,使用鎖或樂觀/悲觀並發控制來實現事務隔離性,以防止資料不一致。

PHP是一種廣泛應用於網站開發的後端程式語言,它具有強大的資料庫操作功能,常用於與MySQL等資料庫進行互動。然而,由於中文字元編碼的複雜性,在處理資料庫中文亂碼時常常會出現問題。本文將介紹PHP處理資料庫中文亂碼的技巧與實踐,包括常見的亂碼原因、解決方法和具體的程式碼範例。常見的亂碼原因資料庫字元集設定不正確:資料庫建立時需選擇正確的字元集,如utf8或u
