


Comment étendre les champs des grandes tables sous la réplication en cascade MySQL
Extension de champ de grandes tables sous réplication en cascade MySQL
1. Contexte
L'entreprise d'un client a une table d'environ 400 millions de lignes. En raison de l'expansion de l'entreprise, open_id varchar(50) dans la table doit être étendu à varchar(500. ) ).
Lors du changement, essayez de minimiser l'impact sur la bibliothèque principale (de préférence pour ne pas avoir d'impact -> Au final, nous nous sommes efforcés d'avoir une fenêtre de 4 heures).
2. Informations sur la table de base de données
Environnement : Mysql 8.0.22
1 copie maître 1 esclave basée sur Gtid
1 La première question, est-ce une grande table Oui, veuillez regarder l'ibd de cette table
. Le fichier fait 280G + le nombre n'est pas revenu depuis longtemps + J'ai utilisé la base de données en veille pour vérifier et confirmer que le nombre de lignes est > 400 millions
以下语句也可以查看: show table status from dbname like 'tablename'\G # Rows 的值不准,有时误差有2倍 SELECT a.table_schema,a.table_name,concat(round(sum(DATA_LENGTH/1024/1024)+sum(INDEX_LENGTH/1024/1024),2) ,'MB')total_size,concat(round(sum(DATA_LENGTH/1024/1024),2),'MB') AS data_size,concat(round(sum(INDEX_LENGTH/1024/1024),2),'MB') AS index_size FROM information_schema.TABLES a WHERE a.table_schema = 'dbname' AND a.table_name = 'tablename'; #看下此表的数据量
Puisqu'il s'agit d'une grande table, quelle méthode devons-nous utiliser pour créer des changements ?
3. Sélection de la solution
M ci-dessous représente la bibliothèque principale, S1 est l'esclave 1, S2 est l'esclave 2
Méthode | Avantages | Inconvénients | Faisabilité |
---|---|---|---|
DDL en ligne | natif, lors de l'utilisation d'une table temporaire intermédiaire | ALGORITHM=COPY, DML sera bloqué Version recommandée >MySQL5.7 | 5 étoiles |
Gh-ost | Utilisez binlog + replay thread au lieu de trigger | Troisième-. les outils tiers, en fonction de différents paramètres, entraînent des temps d'exécution plus longs | 4 étoiles |
Pt-osc | La compatibilité des versions est bonne, en utilisant des déclencheurs pour garder les tables principales et secondaires cohérentes | Outils tiers, et là y a plus de restrictions d'utilisation | 3 étoiles |
M-S1-S2 | le temps peut être estimé | réplication en cascade, fonctionnement manuel | 1 étoile |
Pourquoi n'avons-nous pas choisi les 3 premiers options ?
Sur la base de l'évaluation de la situation réelle, la demande du côté des entreprises cette fois est de Cette table a un trafic professionnel 24 heures sur 24 et n'accepte pas un temps d'indisponibilité commerciale de plus de 4 heures
Méthode OnlineDDL, lorsque l'ALGORITHME =COPY, le point sera bloqué DML (lecture seule), lors de l'opération de renommage final des tables primaire et secondaire (non lisible et inscriptible), jusqu'à ce que DDL soit terminé (le temps requis est incertain).
Il est recommandé de se connecter à la bibliothèque esclave en mode Gh-ost pour la conversion. Ce mode a le moins d'impact sur la bibliothèque principale, et le contrôle de flux peut être défini via des paramètres. La faiblesse fatale de cet outil est que le changement prend trop de temps. Pour une table contenant 400 millions de données, il a fallu 70 heures dans l'environnement de test. Enfin, nous devons également émettre une commande de commutation et supprimer manuellement la table intermédiaire *_del. L'avantage de cette solution est qu'il existe une base de données esclave pour assurer la sécurité des données, donc si vous utilisez une architecture 1 maître 2 esclaves, elle est plus recommandée.
Pt-osc et Gh-ost appartiennent tous deux à des tiers. Le fonctionnement des grandes tables par Pt-osc et OnlineDDL ont un inconvénient commun, à savoir que le coût de la restauration en cas d'échec est très élevé.
S'il s'agit d'une version inférieure telle que MySQL <5.7, elle peut être utilisée. En théorie, OnlineDDL commence à être pris en charge dans MySQL 5.6.7. Le support n'est pas très bon au début, vous pouvez donc choisir en conséquence.
Au final, nous avons choisi la méthode préférée du DBA (xin ku), qui est réalisée sous réplication en cascade M-S1-S2.
4. Comment fonctionner
Créez une nouvelle bibliothèque esclave S1 et construisez la réplication en cascade M-S1-S2
Utilisez OnlineDDL pour étendre le champ sur S2 (l'avantage est que pendant la période, le maître de M-S1 jamais affecté)
Une fois l'expansion terminée, attendez la synchronisation retardée de M-S1-S2 (réduisez la différence de données entre S2 et M et effectuez la vérification des données)
Supprimez S1 et établissez le relation maître-esclave de M-S2 (laissez S2 continuer à synchroniser les données de M)
Sauvegardez S2 et restaurez S1, établissez la réplication en cascade M-S2-S1
L'application s'arrête et attend le maître-esclave les données soient cohérentes (l'avantage est que le temps de synchronisation du volume de données différentielles est très court)
Au final, S2 devient la bibliothèque maître et S1 est la bibliothèque esclave (l'application doit modifier le front-end informations de connexion)
L'application effectue une vérification de régression
Le contenu ci-dessus semble très compliqué, mais il s'agit essentiellement de sauvegarde et de récupération. Les lecteurs peuvent considérer cela comme une alternative. Partager les étapes spécifiques ?
环境装备:开启Gtid,注意M,S1 binlog保存时长,磁盘剩余空间大于待变更表的2倍 show global variables like 'binlog_expire_logs_seconds'; # 默认604800 set global binlog_expire_logs_seconds=1209600; # 主库和级联主库都需要设置 1.搭建 1主2从的级联复制,M -> S1 -> S2 ,安装MySQL注意本次环境lower_case_table_names = 0 2.在S2 上做字段扩容。 预估 10个小时 `参数设置:` set global slave_type_conversions='ALL_NON_LOSSY'; # 防止复制报错SQL_Errno: 13146,属于字段类型长度不一致无法回放 set global interactive_timeout=144000;set global wait_timeout =144000; `磁盘IO参数设置:` set global innodb_buffer_pool_size=32*1024*1024*1024;# 增加buffer_pool 防止Error1206The total number of locks exceeds the lock table size 资源不足 set global sync_binlog=20000;set global innodb_flush_log_at_trx_commit=2; set global innodb_io_capacity=600000;set global innodb_io_capacity_max=1200000; # innodb_io_capacity需要设置两次 show variables like '%innodb_io%'; # 验证以上设置 screen 下执行: time mysql -S /data/mysql/3306/data/mysqld.sock -p'' dbname -NBe "ALTER TABLE tablename MODIFY COLUMN open_id VARCHAR(500) NULL DEFAULT NULL COMMENT 'Id' COLLATE 'utf8mb4_bin';" 查看DDL进度: SELECT EVENT_NAME, WORK_COMPLETED, WORK_ESTIMATED FROM performance_schema.events_stages_current; 3.扩容完成后,等待延迟同步M-S1-S2 数据同步至主从一致,对比主从Gtid 4.移除S1,建立M-S2的主从关系 S1 (可选) stop slave; reset slave all; systemctl stop mysql_3306 S2 stop slave; reset slave all; # MASTER_HOST='M主机IP' CHANGE MASTER TO MASTER_HOST='', MASTER_USER='', MASTER_PASSWORD=', MASTER_PORT=3306, MASTER_AUTO_POSITION=1, MASTER_CONNECT_RETRY=10; start slave; (flush privileges;# 验证数据可正常同步) 5.备份S2恢复S1,建立M-S2-S1级联复制 物理备份S2,重做S2->S1 级联主从 rm -rf binlog/* rm -rf redolog/* xtrabackup --defaults-file=/data/mysql/3306/my.cnf.3306 --move-back --target-dir=/data/actionsky/xtrabackup_recovery/data chown -R mysql. data/ chown -R mysql. binlog/* chown -R mysql. redolog/* systemctl start mysql_3306 set global gtid_purged=''; reset slave all; # MASTER_HOST='S2主机IP' ,已扩容变更完的主机 CHANGE MASTER TO MASTER_HOST='', MASTER_USER='', MASTER_PASSWORD='', MASTER_PORT=3306, MASTER_AUTO_POSITION=1, MASTER_CONNECT_RETRY=10; `MySQL8.0版本需要在上面语句中添加 GET_MASTER_PUBLIC_KEY=1; #防止 Last_IO_Errno: 2061 message: Authentication plugin 'caching_sha2_password' reported error: Authentication requires secure connection.` start slave; 6.应用停服,等待主从数据一致 主库停服+可设置read_only+flush privileges,对比主从Gtid 7.最终S2成为主库,S1为从库 应用更改配置连接新主库。 S2上: stop slave;reset slave all; set global read_only=0;set global super_read_only=0; `show master status\G 观察是否有新事务写入` 收尾:还原第2步的参数设置。 set global interactive_timeout=28800;set global wait_timeout =28800; set global innodb_buffer_pool_size=8*1024*1024*1024; set global slave_type_conversions=''; set global sync_binlog=1;set global innodb_flush_log_at_trx_commit=1; set global innodb_io_capacity=2000;set global innodb_io_capacity_max=4000;
Scénario supplémentaire : Test basé sur la capacité d'E/S du disque
Modifiez directement sur la bibliothèque principale et il n'y a pas de trafic :
Scénario 1, le disque est une machine physique NVME, 400 millions de données prend environ 5 heures (performances du disque 1G/s).
Scénario 2, la machine virtuelle dont le disque est un disque mécanique, cette quantité de données prend environ 40 heures (performances du disque 100M/s).
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Outils d'IA chauds

Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool
Images de déshabillage gratuites

Clothoff.io
Dissolvant de vêtements AI

AI Hentai Generator
Générez AI Hentai gratuitement.

Article chaud

Outils chauds

Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise
Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP

Dreamweaver CS6
Outils de développement Web visuel

SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Sujets chauds

Compétences en matière de traitement de la structure des Big Data : Chunking : décomposez l'ensemble de données et traitez-le en morceaux pour réduire la consommation de mémoire. Générateur : générez des éléments de données un par un sans charger l'intégralité de l'ensemble de données, adapté à des ensembles de données illimités. Streaming : lisez des fichiers ou interrogez les résultats ligne par ligne, adapté aux fichiers volumineux ou aux données distantes. Stockage externe : pour les ensembles de données très volumineux, stockez les données dans une base de données ou NoSQL.

Les performances des requêtes MySQL peuvent être optimisées en créant des index qui réduisent le temps de recherche d'une complexité linéaire à une complexité logarithmique. Utilisez PreparedStatements pour empêcher l’injection SQL et améliorer les performances des requêtes. Limitez les résultats des requêtes et réduisez la quantité de données traitées par le serveur. Optimisez les requêtes de jointure, notamment en utilisant des types de jointure appropriés, en créant des index et en envisageant l'utilisation de sous-requêtes. Analyser les requêtes pour identifier les goulots d'étranglement ; utiliser la mise en cache pour réduire la charge de la base de données ; optimiser le code PHP afin de minimiser les frais généraux.

La sauvegarde et la restauration d'une base de données MySQL en PHP peuvent être réalisées en suivant ces étapes : Sauvegarder la base de données : Utilisez la commande mysqldump pour vider la base de données dans un fichier SQL. Restaurer la base de données : utilisez la commande mysql pour restaurer la base de données à partir de fichiers SQL.

Comment insérer des données dans une table MySQL ? Connectez-vous à la base de données : utilisez mysqli pour établir une connexion à la base de données. Préparez la requête SQL : Écrivez une instruction INSERT pour spécifier les colonnes et les valeurs à insérer. Exécuter la requête : utilisez la méthode query() pour exécuter la requête d'insertion en cas de succès, un message de confirmation sera généré.

L'un des changements majeurs introduits dans MySQL 8.4 (la dernière version LTS en 2024) est que le plugin « MySQL Native Password » n'est plus activé par défaut. De plus, MySQL 9.0 supprime complètement ce plugin. Ce changement affecte PHP et d'autres applications

Pour utiliser les procédures stockées MySQL en PHP : Utilisez PDO ou l'extension MySQLi pour vous connecter à une base de données MySQL. Préparez l'instruction pour appeler la procédure stockée. Exécutez la procédure stockée. Traitez le jeu de résultats (si la procédure stockée renvoie des résultats). Fermez la connexion à la base de données.

La création d'une table MySQL à l'aide de PHP nécessite les étapes suivantes : Connectez-vous à la base de données. Créez la base de données si elle n'existe pas. Sélectionnez une base de données. Créer un tableau. Exécutez la requête. Fermez la connexion.

La base de données Oracle et MySQL sont toutes deux des bases de données basées sur le modèle relationnel, mais Oracle est supérieur en termes de compatibilité, d'évolutivité, de types de données et de sécurité ; tandis que MySQL se concentre sur la vitesse et la flexibilité et est plus adapté aux ensembles de données de petite et moyenne taille. ① Oracle propose une large gamme de types de données, ② fournit des fonctionnalités de sécurité avancées, ③ convient aux applications de niveau entreprise ; ① MySQL prend en charge les types de données NoSQL, ② a moins de mesures de sécurité et ③ convient aux applications de petite et moyenne taille.
