細說MySql中的分錶、分庫、分片和分區
##一、前言
#資料庫的資料量達到某程度之後,為避免帶來系統效能上的瓶頸。需要進行資料的處理,採用的手段是分區、分片、分庫、分錶。二、分片(類似分庫)
分片是把資料庫橫向擴展(Scale Out)到多個實體節點上的一種有效的方式,其主要目的是為突破單節點資料庫伺服器的I/O 能力限制,解決資料庫擴充性問題。 Shard這個字的意思是「碎片」。如果將資料庫當作一塊大玻璃,將這塊玻璃打碎,那麼每一小塊都稱為資料庫的碎片(DatabaseShard)。將整個資料庫打碎的過程就叫做分片,可以翻譯為分片。 形式上,分片可以簡單定義為將大資料庫分散到多個實體節點上的一個分區方案。每一個分區包含資料庫的某一部分,稱為一個片,分區方式可以是任意的,並不限於傳統的水平分區和垂直分區。一個分片可以包含多個表的內容甚至可以包含多個資料庫實例中的內容。每個分片被放置在一個資料庫伺服器上。一個資料庫伺服器可以處理一個或多個分片的資料。系統中需要有伺服器進行查詢路由轉發,負責將查詢轉送到包含該查詢所存取資料的分片或分片集合節點上去執行。三、Scale Out/Scale Up 和 垂直切分/水平分割
Mysql的擴充方案包括Scale Out和Scale Up兩種。 Scale Out(橫向擴展)是指Application可以在水平方向上擴展。一般對資料中心的應用而言,Scale out指的是當增加更多的機器時,應用仍然可以很好的利用這些機器的資源來提升自己的效率從而達到很好的擴展性。 Scale Up(縱向擴充)是指Application可以在垂直方向上擴充。一般對單一機器而言,Scale Up值得是當某個計算節點(機器)添加更多的CPU Cores,存儲設備,使用更大的內存時,應用可以很充分的利用這些資源來提升自己的效率從而達到很好的擴充性。 MySql的Sharding策略包括垂直切分和水平切分兩種。 垂直(縱向)拆分:是指按功能模組拆分,以解決表格與表格之間的io競爭。例如分為訂單庫、商品庫、使用者庫…這種方式多個資料庫之間的表格結構不同。 水平(橫向)拆分:將同一個表的資料進行分塊保存到不同的資料庫中,來解決單表中資料量增長出現的壓力。這些資料庫中的表格結構完全相同。 表格結構設計垂直切分。常見的一些場景包括- 大字段的垂直切分。單獨將大字段建在另外的表中,提高基礎表的存取性能,原則上在性能關鍵的應用中應避免資料庫的大字段
- 按照使用用途垂直切分。例如企業物料屬性,可以依照基本屬性、銷售屬性、採購屬性、生產製造屬性、財務會計屬性等用途垂直切分
- 依照存取頻率垂直切分。例如電子商務、Web 2.0系統中,如果使用者屬性設定非常多,可以將基本、使用頻繁的屬性和不常用的屬性垂直切分開
- 例如線上電子商務網站,訂單表資料量過大,按照年度、每月水準切分
- Web 2.0網站註冊用戶、線上活躍用戶過多,按照用戶ID範圍等方式,將相關用戶以及該用戶緊密關聯的表做水平切分
- 例如論壇的置頂帖子,因為涉及到分頁問題,每頁都需要顯示置頂貼,這種情況可以把置頂貼水平切分開來,避免取置頂帖子時從所有帖子的表中讀取
四、分錶和分區
分錶從表面意思說就是把一張表分成多個小表,分區則是把一張表的資料分成N多個區區塊,這些區塊可以在同一個磁碟上,也可以在不同的磁碟上。分錶和分區的區別
- 實作方式上
- 資料處理上
分錶後資料都是存放在分錶裡,總表只是一個外殼,存取資料發生在一個一個的分錶裡面。分區則不存在分錶的概念,分區只不過把存放資料的檔案分成了許多小塊,分區後的表還是一張表,資料處理還是由自己來完成。
- 提高效能上
分錶後,單表的並發能力提高了,磁碟I/O效能也提高了。分割區突破了磁碟I/O瓶頸,想提高磁碟的讀寫能力,來增加mysql效能。
在這一點上,分區和分錶的測重點不同,分錶重點是訪問資料時,如何提高mysql並發能力上;而分區呢,如何突破磁碟的讀寫能力,從而達到提高mysql效能的目的。
- 實現的難易度上
分錶的方法有很多,用merge來分錶,是最簡單的一種方式。這種方式和分區難易度差不多,而且對程式碼來說可以做到透明的。如果是用其他分錶方式就比分區麻煩了。分區實作是比較簡單的,建立分區表,跟建平常的表沒什麼差別,對程式碼端來說是透明的。
分割區的適用場景
一張表的查詢速度已經慢到影響使用的時候。
表中的數據是分段的
-
對數據的操作往往只涉及一部分數據,而不是所有的數據
CREATE TABLE sales ( id INT AUTO_INCREMENT, amount DOUBLE NOT NULL, order_day DATETIME NOT NULL, PRIMARY KEY(id, order_day)) ENGINE=InnodbPARTITION BY RANGE(YEAR(order_day)) ( PARTITION p_2010 VALUES LESS THAN (2010), PARTITION p_2011 VALUES LESS THAN (2011), PARTITION p_2012 VALUES LESS THAN (2012),PARTITION p_catchall VALUES LESS THAN MAXVALUE);
分錶的適用場景
#一張表的查詢速度已經慢到影響使用的時候。
當頻繁插入或聯合查詢時,速度變慢。
分錶的實作需要業務結合實作與遷移,較為複雜。
五、分錶與分庫
分錶能夠解決單表資料量過大帶來的查詢效率下降的問題,但是,卻無法給資料庫的並發處理能力帶來質的提升。面對高並發的讀寫訪問,當資料庫master伺服器無法承載寫入操作壓力時,不管如何擴展slave伺服器,此時都沒有意義了。因此,我們必須換個思路,對資料庫進行拆分,從而提高資料庫寫入能力,這就是所謂的分庫。
與分錶策略相似,分庫可以採用透過一個關鍵字取模的方式,來對資料存取進行路由,如下圖所示
六、分區與分片區別原文
推薦學習:《mysql影片教學》
以上是細說MySql中的分錶、分庫、分片和分區的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

AI Hentai Generator
免費產生 AI 無盡。

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

熱門話題

MySQL是一個開源的關係型數據庫管理系統。 1)創建數據庫和表:使用CREATEDATABASE和CREATETABLE命令。 2)基本操作:INSERT、UPDATE、DELETE和SELECT。 3)高級操作:JOIN、子查詢和事務處理。 4)調試技巧:檢查語法、數據類型和權限。 5)優化建議:使用索引、避免SELECT*和使用事務。

可以通過以下步驟打開 phpMyAdmin:1. 登錄網站控制面板;2. 找到並點擊 phpMyAdmin 圖標;3. 輸入 MySQL 憑據;4. 點擊 "登錄"。

使用 Navicat Premium 創建數據庫:連接到數據庫服務器並輸入連接參數。右鍵單擊服務器並選擇“創建數據庫”。輸入新數據庫的名稱和指定字符集和排序規則。連接到新數據庫並在“對象瀏覽器”中創建表。右鍵單擊表並選擇“插入數據”來插入數據。

MySQL是一種開源的關係型數據庫管理系統,主要用於快速、可靠地存儲和檢索數據。其工作原理包括客戶端請求、查詢解析、執行查詢和返回結果。使用示例包括創建表、插入和查詢數據,以及高級功能如JOIN操作。常見錯誤涉及SQL語法、數據類型和權限問題,優化建議包括使用索引、優化查詢和分錶分區。

可在 Navicat 中通過以下步驟新建 MySQL 連接:打開應用程序並選擇“新建連接”(Ctrl N)。選擇“MySQL”作為連接類型。輸入主機名/IP 地址、端口、用戶名和密碼。 (可選)配置高級選項。保存連接並輸入連接名稱。

選擇MySQL的原因是其性能、可靠性、易用性和社區支持。 1.MySQL提供高效的數據存儲和檢索功能,支持多種數據類型和高級查詢操作。 2.採用客戶端-服務器架構和多種存儲引擎,支持事務和查詢優化。 3.易於使用,支持多種操作系統和編程語言。 4.擁有強大的社區支持,提供豐富的資源和解決方案。

Redis 使用單線程架構,以提供高性能、簡單性和一致性。它利用 I/O 多路復用、事件循環、非阻塞 I/O 和共享內存來提高並發性,但同時存在並發性受限、單點故障和不適合寫密集型工作負載的局限性。

MySQL和SQL是開發者必備技能。 1.MySQL是開源的關係型數據庫管理系統,SQL是用於管理和操作數據庫的標準語言。 2.MySQL通過高效的數據存儲和檢索功能支持多種存儲引擎,SQL通過簡單語句完成複雜數據操作。 3.使用示例包括基本查詢和高級查詢,如按條件過濾和排序。 4.常見錯誤包括語法錯誤和性能問題,可通過檢查SQL語句和使用EXPLAIN命令優化。 5.性能優化技巧包括使用索引、避免全表掃描、優化JOIN操作和提升代碼可讀性。
