Wenn table
gelöscht wird, bereinigt die innodb
-Engine die Tabelle in jedem Puffer Für die entsprechende Datenblockseite in der Pool
-Instanz ist der Löschvorgang hier kein echter Flush
, sondern die betroffenen Seiten werden aus geleert, um Auswirkungen auf das System zu vermeiden. Code>Aus der Warteschlange entfernt. Während des Entfernungsprozesses hält der Löschvorgang jedoch die globale Sperre jedes Pufferpools
aufrecht und sucht dann nach der entsprechenden Seite in diesem Pufferpool
, um sie aus dem Flush-Liste Löschen. Wenn zu viele Seiten im Pufferpool
durchsucht und gelöscht werden müssen, erhöht sich die Durchlaufzeit, was dazu führt, dass andere Transaktionsvorgänge blockiert werden, und in schweren Fällen kann dies auch die Datenbank blockieren gesperrt. drop table
时,innodb
引擎会清理该表在每个buffer pool
实例中中对应的数据块页面,为了避免对系统的影响,这里的清除操作并不是真正的flush
,而是将涉及到的页面从flush
队列中摘除。但在摘除过程中,删除进程会持有每个buffer pool
的全局锁,然后搜索这个buffer pool
里对应的页面以便从flush list
中删除。如果在buffer pool
中需要被搜索并删除的页面过多,那么遍历时间就会增大,这就导致了其他事务操作被阻塞,严重时可导致数据库锁住。
(推荐课程:MySQL教程)
在这里还需要注意一件事情,如果数据库的buffer pool
设置的很大,就会导致遍历时间变长
清理buffer pool
时,还包含清理AHI
包含此表的数据,AHI
的功能在这里就不多说了,主要是当b+tree
的层级变高时,为避免b+tree
逐层搜索,AHI
能根据某个检索条件,直接查询到对应的数据页,跳过逐层定位的步骤。其次AHI会占用 1/16 的buffer pool
的大小,如果线上表数据不是特别大,不是超高并发,不建议将开启AHI,可以考虑关闭AHI
功能
mysql> SHOW GLOBAL VARIABLES LIKE 'innodb_adaptive_hash_index'; +----------------------------+-------+ | Variable_name | Value | +----------------------------+-------+ | innodb_adaptive_hash_index | ON | +----------------------------+-------+ 1 row in set (0.01 sec) mysql> SET GLOBAL innodb_adaptive_hash_index=OFF; Query OK, 0 rows affected (0.00 sec) mysql> SHOW GLOBAL VARIABLES LIKE 'innodb_adaptive_hash_index'; +----------------------------+-------+ | Variable_name | Value | +----------------------------+-------+ | innodb_adaptive_hash_index | OFF | +----------------------------+-------+ 1 row in set (0.01 sec)
在删除数据文件时,如果数据文件过大,删除过程会产生大量的IO
并耗费更多的时间,造成磁盘IO
开销飙升,CPU
负载过高,影响其他程序运行。我的一个好伙伴,就曾在线上库删除了一张 1TB 大小的表,结果20分钟,数据库无响应,最后库崩溃,重启了。
既然知道drop table
做了2件事情,那就针对以上 2 个事情进行优化
在清除Buffer Pool
缓冲上,为减少当个buffer pool
的大小,可以合理设置innodb_buffer_pool_instances
参数,减少buffer pool
数据块列表扫描时间,同时关闭AHI
功能
在步骤2上,可以巧妙的利用linux
的硬连接特性,延迟删除真正的物理文件。
当多个文件名同时指向同一个INODE
时,这个INODE
的引用数 N>1, 删除其中任何一个文件名都会很快.因为其直接的物理文件块没有被删除.只是删除了一个指针而已;当INODE
的引用数 N=1 时, 删除文件需要去把这个文件相关的所有数据块清除,所以会比较耗时;
如果给数据库表的.ibd
文件创建一个硬链接,当删除表时,删除物理文件时,其实删除的就是物理文件的一个指针,所以删除操作响应速度会非常快,大约不到1秒左右
下面就来演示一下具体的操作
先创建表文件的硬链接 ln t_test.ibd t_test.ibd.bak 删除表 drop table t_test;
最后就是要真正删除掉物理文件,释放文件所占用的磁盘空间,那么问题来了,如果优雅的删除物理文件呢,在这里推荐大家coreutils
工具集中的truncate
命令
当然需要你先安装相关的软件包
wget http://ftp.gnu.org/gnu/coreutils/coreutils-8.29.tar.xz 使用非root进行解压 tar -xvJf coreutils-8.29.tar.xz cd coreutils-8.29 ./configure make 使用root进行make install
安装好之后,就可以写一个脚本,非常优雅的分布删除大文件,${i}G
Pufferpool
der Datenbank auf eine große Größe eingestellt ist, führt dazu, dass die Durchlaufzeit länger wird
Beim Bereinigen des Pufferpools
werden auch die AHI
-Daten, die diese Tabelle enthalten, bereinigt. Die Funktion von AHI
wird hier nicht besprochen Wenn die Ebene von b+tree
höher wird, kann AHI
verwendet werden, um die schichtweise Suche nach b+tree
zu vermeiden Überspringen Sie für die entsprechende Datenseite den Schritt der schichtweisen Positionierung. Zweitens belegt AHI 1/16 der Größe des Pufferpools
. Wenn die Online-Tabellendaten nicht besonders groß sind und die Parallelität nicht besonders hoch ist, wird die Aktivierung von AHI nicht empfohlen Erwägen Sie das Deaktivieren der AHI
Funktion#🎜🎜##!/bin/bash TRUNCATE=/usr/local/bin/truncate for i in `seq 2194 -10 10 `; do sleep 2 $TRUNCATE -s ${i}G /data/mysql/t_test.ibd.hdlk done rm -rf /data/mysql/t_test.ibd.hdlk ;
IO
und verbraucht mehr Zeit, was dazu führt, dass der Festplatten-IO
-Overhead in die Höhe schießt und der Die CPU-Auslastung ist zu hoch, was Auswirkungen auf den Betrieb anderer Programme hat. Ein guter Freund von mir hat einmal eine 1-TB-Tabelle aus der Online-Datenbank gelöscht. Infolgedessen reagierte die Datenbank 20 Minuten lang nicht mehr, und schließlich stürzte die Datenbank ab und wurde neu gestartet. #🎜🎜##🎜🎜#Da wir nun wissen, dass <code>drop table
zwei Dinge tut, optimieren wir die oben genannten zwei Dinge #🎜🎜##🎜🎜#Nach dem Löschen des PufferpoolsWas die Pufferung betrifft, können Sie zum Reduzieren der Größe eines <code>Pufferpools
den Parameter innodb_buffer_pool_instances
entsprechend festlegen, um den Pufferpool
zu reduzieren Zeit zum Scannen der Datenblockliste und deaktivieren Sie gleichzeitig die Funktion AHI
#🎜🎜##🎜🎜#In Schritt 2 können Sie die Funktion für harte Verbindungen von linux um das Löschen echter physischer Dateien zu verzögern. #🎜🎜##🎜🎜#Wenn mehrere Dateinamen gleichzeitig auf denselben <code>INODE
verweisen, ist die Referenznummer dieses INODE
N>1 Der Dateiname führt dazu, dass der direkte physische Dateiblock nicht gelöscht wurde, wenn die Referenznummer von INODE
N=1 ist Alle Datenblöcke, die sich auf die Datei beziehen, werden gelöscht, daher ist es zeitaufwändiger;#🎜🎜##🎜🎜#Wenn Sie einen festen Link zur .ibd
-Datei der Datenbanktabelle erstellen Wenn die Tabelle gelöscht wird und die physische Datei gelöscht wird, wird tatsächlich ein Zeiger auf die physische Datei gelöscht, sodass die Reaktionsgeschwindigkeit des Löschvorgangs sehr schnell ist und etwa weniger als 1 Sekunde beträgt.#🎜🎜## 🎜🎜#Lassen Sie uns den spezifischen Vorgang demonstrieren#🎜🎜#rrreee#🎜🎜#Als letztes müssen Sie die physischen Dateien wirklich löschen und den von den Dateien belegten Speicherplatz freigeben. Dann stellt sich die Frage, ob Sie die physischen Dateien löschen möchten Ich empfehle den Befehl truncate
im Tool-Set coreutils
#🎜🎜##🎜🎜#Natürlich müssen Sie zuerst das entsprechende Softwarepaket installieren #🎜🎜#. rrreee#🎜🎜#Nach der Installation können Sie ein Skript schreiben, um große Dateien sehr elegant zu löschen. ${i }G
bedeutet, dass jedes Mal 10 GB gelöscht werden#🎜🎜#rrreeeDas obige ist der detaillierte Inhalt vonSo legen Sie das 1-TB-Formular in der MySQL-Bibliothek ab. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!