首頁 資料庫 mysql教程 MySQL优化之分区表_MySQL

MySQL优化之分区表_MySQL

Jul 06, 2016 pm 01:32 PM
mysql優化 mysql分割區表

当数据库数据量涨到一定数量时,性能就成为我们不能不关注的问题,如何优化呢? 常用的方式不外乎那么几种:

  1、分表,即把一个很大的表达数据分到几个表中,这样每个表数据都不多。

    优点:提高并发量,减小锁的粒度
    缺点:代码维护成本高,相关sql都需要改动

  2、分区,所有的数据还在一个表中,但物理存储数据根据一定的规则存放在不同的文件中,文件也可以放到另外磁盘上

    优点:代码维护量小,基本不用改动,提高IO吞吐量
    缺点:表的并发程度没有增加

  3、拆分业务,这个本质还是分表。

    优点:长期支持更好
    缺点:代码逻辑重构,工作量很大

  当然,每种情况都有合适的应用场景,需要根据具体业务具体选择。由于分表和拆分业务和mysql本身关系不大属于业务层面,我们只说和数据库关系最紧密的方式:表分区。不过使用表分区有个前提就是你的数据库必须支持。那么,怎么知道我的数据库是否支持表分区呢 ? 请执行下面命令  

代码如下:


show plugins;  ---在mysql控制台中执行

据说5.4一下的版本是另外一个命令,不过我没有测试

代码如下:


 show variables like '%part%';


   数据库的表分区一般有两种方式:纵向和横向。纵向就是把表中不同字段分到不同数据文件中。横向是把表中前一部分数据放到一个文件中,另一部分数据放到一个文件中。mysql只支持后后一种方式,横向拆分。

1、创建分区表

   如果要使用表的分区优势,不但要数据库版本支持分区,关键要建分区表,这个表和普通表不一样,并且必须建表的时候就要指定分区,否则无法把普通表改成分区表。那么,如果创建一个分区表呢? 其他很简单,请看下面建表语句

CREATE TABLE `T_part` (
  `f_id` INT DEFAULT NULL,
  `f_name` VARCHAR (20) DEFAULT NULL,
  PRIMARY KEY (`f_id`)
) ENGINE = myisam DEFAULT CHARSET = utf8 
PARTITION BY RANGE (f_id)(    -----指定分区方式
  PARTITION p0 VALUES less THAN (10),-- 分了两个区
  PARTITION p1 VALUES less THAN (20)
)
登入後複製

上面语句建了一个“T_part”表,有两个字段f_id和f_name,并且根据RANGE方式把表分成两个区p0、p1,当f_id小于10放入p0分区,当f_id大于0小于20放入分区p1. 那么当f_id大于20的数据放入哪个分区呢? 你猜对了,insert语句会报错。

  看到了吧,创建分区表就这么简单!当然,你随时可以添加删除分区,不过要注意,删除分区的时候会把当前分区下所有数据都删除。

代码如下:


alter table T_part add partition(partition p2 values less than (MAXVALUE)); ---新增分区
alter table T_part DROP partition p2; ----删除分区

2、表分区的几种方式
  mysql支持5种分区方式:RANGE分区、LIST分区、HASH分区、LINEAR HASH分区和KEY分区。每种分区都有自己的使用场景。

  1)RANGE分区:

    RANGE分区的表是通过如下一种方式进行分区的,每个分区包含那些分区表达式的值位于一个给定的连续区间内的行。这些区间要连续且不能相互重叠,使用VALUES LESS THAN操作符来进行定义。

    上面的例子就是RANGE分区.

  2)LIST分区:

    MySQL中的LIST分区在很多方面类似于RANGE分区。和按照RANGE分区一样,每个分区必须明确定义。它们的主要区别在于,LIST分区中每个分区的定义和选择是基于某列的值从属于一个值列表集中的一个值,而RANGE分区是从属于一个连续区间值的集合。LIST分区通过使用“PARTITION BY LIST(expr)”来实现,其中“expr” 是某列值或一个基于某个列值、并返回一个整数值的表达式,然后通过“VALUES IN (value_list)”的方式来定义每个分区,其中“value_list”是一个通过逗号分隔的整数列表。

CREATE TABLE `T_list` (
  `f_id` INT DEFAULT NULL,
  `f_name` VARCHAR (20) DEFAULT NULL,
  PRIMARY KEY (`f_id`)
) ENGINE = myisam DEFAULT CHARSET = utf8 
PARTITION by list(f_id)
(
 PARTITION p0 VALUES in(1,2,3), ----区间值不能重复
 PARTITION p1 VALUES in(4,5,6)
);
登入後複製

3)HASH分区:

    HASH分区主要用来确保数据在预先确定数目的分区中平均分布。在RANGE和LIST分区中,必须明确指定一个给定的列值或列值集合应该保存在哪个分区中;而在HASH分区中,MySQL 自动完成这些工作,你所要做的只是基于将要被哈希的列值指定一个列值或表达式,以及指定被分区的表将要被分割成的分区数量。要使用HASH分区来分割一个表,要在CREATE TABLE 语句上添加一个“PARTITION BY HASH (expr)”子句,其中“expr”是一个返回一个整数的表达式。它可以仅仅是字段类型为MySQL 整型的一列的名字。此外,你很可能需要在后面再添加一个“PARTITIONS num”子句,其中num 是一个非负的整数,它表示表将要被分割成分区的数量。

CREATE TABLE `T_hash` (
  `f_id` INT DEFAULT NULL,
  `f_name` VARCHAR (20) DEFAULT NULL,
  PRIMARY KEY (`f_id`)
) ENGINE = myisam DEFAULT CHARSET = utf8 
PARTITION BY HASH(f_id) ---可以指定多列
PARTITIONS 4;---分区个数
登入後複製

“expr”还可以是MySQL 中有效的任何函数或其他表达式,只要它们返回一个既非常数、也非随机数的整数。(换句话说,它既是变化的但又是确定的)。但是应当记住,每当插入或更新(或者可能删除)一行,这个表达式都要计算一次;这意味着非常复杂的表达式可能会引起性能问题,尤其是在执行同时影响大量行的运算(例如批量插入)的时候。最有效率的哈希函数是只对单个表列进行计算,并且它的值随列值进行一致地增大或减小,因为这考虑了在分区范围上的“修剪”。也就是说,表达式值和它所基于的列的值变化越接近,MySQL就可以越有效地使用该表达式来进行HASH分区。

  4)LINEAR HASH分区:

    MySQL还支持线性哈希功能,它与常规哈希的区别在于,线性哈希功能使用的一个线性的2的幂(powers-oftwo)运算法则,而常规 哈希使用的是求哈希函数值的模数。线性哈希分区和常规哈希分区在语法上的唯一区别在于,在“PARTITION BY” 子句中添加“LINEAR”关键字.

  5)KEY分区:

    按照KEY进行分区类似于按照HASH分区,除了HASH分区使用的用户定义的表达式,而KEY分区的 哈希函数是由MySQL 服务器提供。MySQL 簇(Cluster)使用函数MD5()来实现KEY分区;对于使用其他存储引擎的表,服务器使用其自己内部的 哈希函数,这些函数是基于与PASSWORD()一样的运算法则。

    KEY分区的语法和HASH语法类似,只是把关键字改成KEY。  

CREATE TABLE `T_key` (
  `f_id` INT DEFAULT NULL,
  `f_name` VARCHAR (20) DEFAULT NULL,
  PRIMARY KEY (`f_id`)
) ENGINE = myisam DEFAULT CHARSET = utf8 
PARTITION BY LINEAR key(f_id)
PARTITIONS 3;
登入後複製

6)子分区:

    子分区的意思就是在分区的基础上再次分区。且每个分区必须有相同个数的子分区。

CREATE TABLE `T_part` (
  `f_id` INT DEFAULT NULL,
  `f_name` VARCHAR (20) DEFAULT NULL,
  PRIMARY KEY (`f_id`)
) 
PARTITION BY RANGE (f_id)
SUBPARTITION BY HASH(F_ID)
SUBPARTITIONS 2
(
  PARTITION p0   VALUES     less THAN (10),
  PARTITION p1  VALUES    less THAN (20)
)
登入後複製

上面语句的意思是,建立两个range分区,每个分区根据hash有分别有两个子分区,实际上整个表分成2×2=4个分区。当然,要详细定义每个分区属性也是可以的

CREATE TABLE `T_part` (
  `f_id` INT DEFAULT NULL,
  `f_name` VARCHAR (20) DEFAULT NULL,
  PRIMARY KEY (`f_id`)
) 
PARTITION BY RANGE (f_id)
SUBPARTITION BY HASH(F_ID)
(
  PARTITION p0   VALUES less THAN (10)
  (
    SUBPARTITION s0 
      DATA DIRECTORY = '/disk0/data' 
      INDEX DIRECTORY = '/disk0/idx',
    SUBPARTITION s1 
      DATA DIRECTORY = '/disk1/data' 
      INDEX DIRECTORY = '/disk1/idx'
  ),
  PARTITION p1  VALUES less THAN (20)
  (
    SUBPARTITION s2
      DATA DIRECTORY = '/disk0/data' 
      INDEX DIRECTORY = '/disk0/idx',
    SUBPARTITION s3 
      DATA DIRECTORY = '/disk1/data' 
      INDEX DIRECTORY = '/disk1/idx'
  )
)
登入後複製

这样可以对每个分区指定具体存储磁盘。前提磁盘是存在的。  

  MySQL 中的分区在禁止空值(NULL)上没有进行处理,无论它是一个列值还是一个用户定义表达式的值。一般而言,在这种情况下MySQL 把NULL视为0。如果你希望回避这种做法,你应该在设计表时不允许空值;最可能的方法是,通过声明列“NOT NULL”来实现这一点。

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

如何透過MySQL對AVG函數最佳化來提高效能 如何透過MySQL對AVG函數最佳化來提高效能 May 11, 2023 am 08:00 AM

如何透過MySQL對AVG函數最佳化來提高效能MySQL是一款流行的關聯式資料庫管理系統,其中包含了許多強大的函數以及功能。其中AVG函數被廣泛使用在計算平均值的情形,但由於這個函數需要遍歷整個資料集,所以在大規模資料的情況下會導致效能問題。本文將詳細介紹如何透過MySQL對AVG函數進行最佳化,進而提高效能。 1.使用索引索引是MySQL最佳化中最重要的一部分,

基於TokuDB引擎的MySQL最佳化:提升寫入與壓縮效能 基於TokuDB引擎的MySQL最佳化:提升寫入與壓縮效能 Jul 25, 2023 pm 11:45 PM

基於TokuDB引擎的MySQL最佳化:提升寫入與壓縮效能引言:MySQL作為一種常用的關聯式資料庫管理系統,在大數據時代的脈絡下,面臨越來越高的寫入壓力和儲存需求。為了應對這項挑戰,TokuDB引擎應運而生。本文將介紹如何利用TokuDB引擎來提升MySQL的寫入效能與壓縮效能。一、什麼是TokuDB引擎? TokuDB引擎是一種面向大數據的、用於處理高寫入

如何實現MySQL底層優化:SQL語句高階優化的技巧與最佳實踐 如何實現MySQL底層優化:SQL語句高階優化的技巧與最佳實踐 Nov 08, 2023 pm 04:32 PM

MySQL是一種廣泛使用的關聯式資料庫管理系統,常用於Web應用程式的開發與資料儲存。在實際應用中,對MySQL的底層最佳化特別重要,其中SQL語句的高階最佳化是提升資料庫效能的關鍵所在。本文將介紹實現MySQL底層優化的一些技巧和最佳實踐,以及具體的程式碼範例。確定查詢條件在編寫SQL語句時,首先要明確定義查詢條件,避免使用無限制的通配符查詢,即避免使用"%"開

MySQL在電子商務應用中的最佳化與安全專案經驗解析 MySQL在電子商務應用中的最佳化與安全專案經驗解析 Nov 03, 2023 am 10:42 AM

MySQL是一種廣泛應用於電子商務領域的關聯式資料庫管理系統。在電子商務應用中,對MySQL進行最佳化和安全工作是至關重要的。本文將解析MySQL在電子商務應用中的最佳化與安全專案經驗。一、效能最佳化資料庫架構設計:在電子商務應用中,資料庫的設計是關鍵。合理的表結構設計和索引設計能夠提高資料庫的查詢效能。同時,使用分錶和分區技術可以減少單一表的資料量,並提高查詢效率

如何最佳化MySQL連線數管理 如何最佳化MySQL連線數管理 Mar 16, 2024 am 08:12 AM

如何優化MySQL連線數管理MySQL是一種流行的關聯式資料庫管理系統,廣泛應用於各種網站和應用程式。在實際的應用過程中,MySQL連線數管理是一個非常重要的問題,尤其是在高並發情況下,合理管理連線數可以提高系統的效能和穩定性。本文將介紹如何最佳化MySQL連線數管理,包括詳細的程式碼範例。一、理解連線數管理在MySQL中,連線數是指系統能夠同時連

如何使用MySQL的分區表優化大數據量的查詢操作 如何使用MySQL的分區表優化大數據量的查詢操作 Aug 03, 2023 pm 04:09 PM

如何使用MySQL的分區表優化大數據量的查詢操作在處理大數據量時,資料庫的效能往往會成為瓶頸。 MySQL作為一款流行的關聯式資料庫管理系統,在處理大數據量的查詢操作時也常面臨效能問題。為了優化資料庫查詢的效能,MySQL提供了分區表的功能,可以把一個表的資料分成多個部分,分別儲存在不同的實體檔案中。本文將介紹如何使用MySQL的分區表來最佳化大數據量的查詢

如何實現MySQL底層優化:SQL語句優化的常見技巧與原則 如何實現MySQL底層優化:SQL語句優化的常見技巧與原則 Nov 08, 2023 pm 08:19 PM

MySQL資料庫作為一種常見的關聯式資料庫,隨著資料庫中資料量的增加和查詢需求的變化,底層最佳化變得特別重要。在進行MySQL底層最佳化的過程中,SQL語句最佳化是一項至關重要的工作。本文將討論SQL語句優化的常見技巧和原則,並提供具體的程式碼範例。首先,SQL語句最佳化需要考慮以下幾個面向:索引的最佳化、查詢語句的最佳化、預存程序和觸發器的最佳化等。在這些方面,我們將從具

如何合理配置和最佳化MySQL的雙寫緩衝技術 如何合理配置和最佳化MySQL的雙寫緩衝技術 Jul 25, 2023 pm 01:01 PM

如何合理配置和最佳化MySQL的雙寫緩衝技術引言:MySQL的雙寫緩衝技術是一種提高資料安全性和效能的重要技術。本文將介紹如何合理配置和最佳化MySQL的雙寫緩衝技術,以便更好地保護數據,並提升資料庫的效能。一、什麼是雙寫緩衝技術雙寫緩衝技術是MySQL的一種I/O最佳化技術,它可以大幅減少磁碟I/O操作的次數,提高資料庫的寫入效能。當MySQL執行寫入操作時,先

See all articles