首頁 > 資料庫 > mysql教程 > MySQL的幾種碎片整理方案

MySQL的幾種碎片整理方案

WBOY
發布: 2022-07-20 20:42:07
轉載
6558 人瀏覽過

這篇文章為大家帶來了關於mysql的相關知識,其中主要整理了碎片整理方案的相關問題,也即解決delete大量資料後空間不釋放的問題,下面一起來看一下,希望對大家有幫助。

MySQL的幾種碎片整理方案

推薦學習:mysql影片教學

#MySQL 的幾種片段整理方案總結(解決delete大量資料後空間不釋放的問題)

1.背景知識?

1.1 為什麼會有碎片?

  1. MySQL 中insert 與update 都可能導致頁分裂,這樣就存在碎片。

    對於大量的UPDATE,也會產生檔案碎片化, Innodb的最小實體儲存分配單位是頁(page),而UPDATE也可能導致頁分裂(page split),頻繁的頁分裂,頁會變得稀疏,並且被不規則的填充,所以最終資料會有碎片。

  2. delete 語句其實只是給資料打個標記,並且記錄到一個鍊錶中,這樣就形成了留白空間。

    在InnoDB中,刪除一些行,這些行只是被標記為“已刪除”,而不是真的從索引中物理刪除了,因而空間也沒有真的被釋放回收。 InnoDB的Purge執行緒會異步的來清理這些沒用的索引鍵和行。

  3. 當執行插入操作時,MySQL會嘗試使用空白空間,但如果某個空白空間一直沒有被大小合適的資料佔用,仍然無法將其徹底佔用,就形成了碎片;

  4. 總結:

    1. 表的增刪改操作,可能會造成資料空洞的,當資料表進行大量的增刪改操作後,數據空洞存在的可能性比較大。

    2. MySQL刪除資料幾種情況以及是否釋放磁碟空間:

      1. drop ,truncate 立刻釋放磁碟空間,不管是Innodb和MyISAM ;
      • truncate table其實有點類似drop table 然後creat,只不過這個create table 的過程做了優化,比如表結構檔之前已經有了等等。所以速度上應該是接近drop table的速度;
      1. delete from table_name刪除表的全部資料,對於MyISAM 會立刻釋放磁碟空間(應該是做了特別處理,也比較合理),InnoDB 不會釋放磁碟空間;
      2. 對於delete from table_name where xxx; 帶條件的刪除, 不管是innodb還是MyISAM都不會釋放磁碟空間;
      3. #delete操作以後使用optimize table table_name 會立刻釋放磁碟空間。不管是innodb還是myisam 。所以要達到釋放磁碟空間的目的,delete以後執行optimize table 操作。
      4. delete from表以後雖然未釋放磁碟空間,但下次插入資料的時候,仍然可以使用這部分空間。

1.2 片段所帶來的問題

  • 當MySQL掃描資料時,它掃描的物件實際上是列表的容量需求上限,也就是資料被寫入的區域中處於峰值位置的部分;

  • MySQL資料庫中的表在進行了多次delete、update和insert後,表空間會出現碎片。定期進行表空間整理,消除碎片可以提高存取表空間的效能。

  • 這種碎片不僅額外增加了儲存代價,同時也因為資料碎片化降低了表格的掃描效率。

  • 片段若不整理,那麼可能會長期佔據磁碟空間,導致磁碟使用率越來越高。

2. 如何清理碎片?

修復問題的前提是要先找到問題,這樣才能對症下藥。

2.1. 查看表格的碎片狀況

  1. 查看資料庫中每個存在碎片的表

    mysql> select concat('optimize table ',table_schema,'.',table_name,';'),data_free,engine from information_schema.tables where data_free>0 and engine !='MEMORY';
    +-----------------------------------------------------------+-----------+--------+
    | concat('optimize table ',table_schema,'.',table_name,';') | DATA_FREE | ENGINE |
    +-----------------------------------------------------------+-----------+--------+
    | optimize table abc.t_user_answer;                    		|   2097152 | InnoDB |
    | optimize table mysql.time_zone_transition;                |   4194304 | InnoDB |
    | optimize table mysql.time_zone_transition_type;           |   4194304 | InnoDB |
    | optimize table mysql.user;                                |   4194304 | InnoDB |
    。。。。
    登入後複製
  2. #查看指定表的碎片情況

     mysql> show table status like 't_user'\G
     *************************** 1. row ***************************
                Name: t_user
              Engine: InnoDB
             Version: 10
          Row_format: Dynamic
                Rows: 4333
      Avg_row_length: 589
         Data_length: 2555904
     Max_data_length: 0
        Index_length: 2719744
           Data_free: 4194304
      Auto_increment: NULL
         Create_time: 2021-11-19 10:13:31
         Update_time: 2022-04-20 14:28:42
          Check_time: NULL
           Collation: utf8mb4_general_ci
            Checksum: NULL
      Create_options:
             Comment:
     1 row in set (0.00 sec)
    登入後複製

    Data_free: 4194304 就代表碎片的byte數。如果經常刪改資料表,會造成大量的Data_free 頻繁 刪除記錄 或修改有可變長度欄位的表。

  3. 找到碎片化最嚴重的表格

    SELECT table_schema, TABLE_NAME, concat(data_free/1024/1024, 'M') as data_free
    FROM `information_schema`.tables
    WHERE data_free > 3 * 1024 * 1024
    	AND ENGINE = 'innodb'
    ORDER BY data_free DESC
    登入後複製

2.2 清理碎片(回收空間)的方法

官方文件參考
MySQL的幾種碎片整理方案

#

通常有这几种做法

  1. alter table tb_test engine=innodb; (本质上是 recreate)
  2. optimize table tb_test; (本质上是 recreate,但是在不同创建下会有区别)
  3. ALTER TABLE tablename FORCE (在InnoDB表中等价于 alter table tb_test engine=innodb; )
  4. mysqlcheck 批量表空间优化
  5. gh-ost/pt-osc
  6. pt-online-schema-change (本质上也是 先备份旧表数据,然后 truncate 旧表)

1. alter table tb_test engine=innodb 原理介绍

这其实是一个NULL操作,表面上看什么也不做,实际上重新整理碎片了.当执行优化操作时,实际执行的是一个空的 ALTER 命令,但是这个命令也会起到优化的作用,它会重建整个表,删掉未使用的空白空间.

Running ALTER TABLE tbl_name ENGINE=INNODB on an existing InnoDB table performs a “null” ALTER TABLE operation, which can be used to defragment an InnoDB table, as described in Section 15.11.4, “Defragmenting a Table”. Running ALTER TABLE tbl_name FORCE on an InnoDB table performs the same function.

    MySQL5.6 开始采用 Inplace 方式重建表,Alter 期间,支持 DML 查询和更新操作,语句为 alter table t engine=innodb, ALGORITHM=inplace;之所以支持 DML 更新操作,是因为数据拷贝期间会将 DML 更新操作记录到 Row log 中。

    重建过程中最耗时的就是拷贝数据的过程,这个过程中支持 DML 查询和更新操作,对于整个 DDL 来说,锁时间很短,就可以近似认为是 Online DDL。

    执行过程:

    1、获取 MDL(Meta Data Lock)写锁,innodb 内部创建与原表结构相同的临时文件

    2、拷贝数据之前,MDL 写锁退化成 MDL 读锁,支持 DML 更新操作

    3、根据主键递增顺序,将一行一行的数据读出并写入到临时文件,直至全部写入完成。并且,会将拷贝期间的 DML 更新操作记录到 Row log 中

    4、上锁,再将 Row log 中的数据应用到临时文件

    5、互换原表和临时表表名

    6、删除临时表
登入後複製

2. optimize table xxx;

OPTIMIZE TABLE语句可以重新组织表、索引的物理存储,减少存储空间,提高访问的I/O效率。类似于碎片整理功能。

MySQL可以通过optimize table语句释放表空间,重组表数据和索引的物理页,减少表所占空间和优化读写性能

  1. 使用语法

    OPTIMIZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tbl_n说ame [, tbl_name] …

    • 对于主从架构, LOCAL 参数可以让这个过程不写入 binlog ,这样在主库上执行时就不会同步给从库了
    • 默认情况下,MySQL将OPTIMIZE TABLE语句写入二进制日志,以便它们复制到slave服务器。如果不想写二进制日志,使用命令时加上NO_WRITE_To_BINLOG或LOCAL关键字即可。
    • 使用这个语句需要具有对目标表的SELECT、INSERT权限。
  2. 注意:

    1. 需要有足够的空间才能进行OPTIMIZE TABLE。 (剩余空间必须 > 被 OPTIMIZE 的表的大小)

    2. OPTIMIZE 只对独立表空间(innodb_file_per_table=1)才有用,对共享表空间不起作用。

      对于共享表空间,如果需要瘦身: 必须将数据导出,删除ibdata1,然后将 innodb_file_per_table 设置为独立表空间, 然后将数据导入进来。

    3. 对于InnoDB的表,OPTIMIZE TABLE 的工作原理如下

      对于InnoDB表, OPTIMIZE TABLE映射到ALTER TABLE … FORCE(或者这样翻译:在InnoDB表中等价 ALTER TABLE … FORCE),它重建表以更新索引统计信息并释放聚簇索引中未使用的空间。

      当您在InnoDB表上运行时,它会显示在OPTIMIZE TABLE的输出中,如下所示:
      mysql> OPTIMIZE TABLE foo; 
      +----------+----------+----------+---------------------------------------+ 
      | Table    | Op       | Msg_type | Msg_text                                                          | 
      +----------+----------+----------+---------------------------------------+ 
      | test.foo | optimize | note     | Table does not support optimize, doing recreate + analyze instead | 
      | test.foo | optimize | status   | OK                                                                | 
      +----------+----------+----------+---------------------------------------+ 
      
      # 但这个提示语可以忽略,从严格的意义讲,说InnoDB不支持optimize table,其实不太准确。 因为 MYSQL的文档说明了,当INNODB 的表,MYSQL会以 ALTER TABLE force  +  analyze 去执行这个命令(相当于做了recreate和analyze)。 所以最终还是会看到 OK 的状态。 
      # https://stackoverflow.com/questions/30635603/what-does-table-does-not-support-optimize-doing-recreate-analyze-instead-me
      登入後複製
    4. 对于MYISAM表,OPTIMIZE TABLE 的工作原理:
      1. 如果表已删除或分隔行,就修复该表。
      2. 如果索引页没有排序,就排序它们。
      3. 如果表的统计信息不是最新的(而且修复不能通过对索引进行排序),就更新它们。

    5. **执行时也可以发现报错: Temporary file write failure. **

      建议参考这片文章:
      Mysql optimize table 时报错 Temporary file write failure. 的解决方案

  3. optimize 语句的官网介绍

    • 如果您已经删除了表的一大部分,或者如果您已经对含有可变长度行的表(含有VARCHAR, BLOB或TEXT列的表)进行了很多更改,则应使用 OPTIMIZE TABLE。

    • 被删除的记录被保持在链接清单中,后续的INSERT操作会重新使用旧的记录位置。您可以使用OPTIMIZE TABLE来重新利用未使用的空间,并整理数据文件的碎片。

    • 在多数的设置中,您根本不需要运行OPTIMIZE TABLE。即使您对可变长度的行进行了大量的更新,您也不需要经常运行,每周一次或每月一次 即可,只对特定的表运行。

  4. Mysql 5.6 之前 在OPTIMIZE TABLE运行过程中,MySQL会锁定表,5.6之后有了 Online DDL 则大大减少了锁表时间。

3. alter table、analyze table和optimize table区别

  • alter table tb_test engine = innodb;

    • (也就是 recreate)MySQL 5.5以前用Offline的方式重建表,5.6以后用Online的方式重建表;
  • analyze table tb_test ;

    • 重新统计表的索引信息,不会修改数据,不会重建表,整个过程加MDL读
  • optimize table tb_test ;

    • 是 alter table xxx = innodb; analyze table xxx; 的過程。

4. OPTIMIZE TABLE 和ALTER TABLE xxxx ENGINE= INNODB哪個更好

  • OPTIMIZE TABLE 還是ALTER TABLE xxxx ENGINE= INNODB 基本上是一樣的。但是在有些情況下,ALTER TABLE xxxx ENGINE= INNODB比較好。
    • 例如: old_alter_table 系統變數沒有啟用等等。
  • 另外: 對於MyISAM類型表,使用ALTER TABLE xxxx ENGINE= INNODB 是明顯要優於 OPTIMIZE TABLE這種方法的。

2.3 官方建議

MySQL官方建議不要經常(每小時或每天)進行碎片整理,一般根據實際情況,只需要每週或每月整理一次即可(我們現在是每月凌晨4點清理mysql所有實例下的表格碎片)

推薦學習:mysql影片教學

以上是MySQL的幾種碎片整理方案的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:csdn.net
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板