Maison base de données tutoriel mysql Une introduction à la façon d'optimiser l'insertion par lots de données dans MYSQL

Une introduction à la façon d'optimiser l'insertion par lots de données dans MYSQL

Jul 18, 2017 pm 03:22 PM
mysql 如何 数据

J'ai également vu plusieurs autres méthodes sur Internet, telles que le prétraitement SQL et la soumission par lots. Alors, comment fonctionnent ces méthodes ? Cet article fera une comparaison de ces méthodes

1. Quels problèmes avons-nous rencontrés

En SQL standard, nous écrivons généralement l'instruction d'insertion SQL suivante.


INSERT INTO TBL_TEST (id) VALUES(1);
Copier après la connexion

Évidemment, cette méthode est également réalisable dans MYSQL. Mais lorsque nous devons insérer des données par lots, de telles instructions entraîneront des problèmes de performances. Par exemple, si vous devez insérer 100 000 éléments de données, vous avez besoin de 100 000 instructions d'insertion. Chaque instruction doit être soumise au moteur relationnel pour analyse et optimisation avant de pouvoir atteindre le moteur de stockage pour effectuer le travail d'insertion proprement dit.

C'est précisément en raison du problème de goulot d'étranglement des performances que la documentation officielle MYSQL mentionne également l'utilisation de l'insertion par lots, c'est-à-dire l'insertion de plusieurs valeurs​​dans une instruction INSERT. Autrement dit,


INSERT INTO TBL_TEST (id) VALUES (1), (2), (3)
Copier après la connexion

Cette approche peut en effet accélérer l'insertion par lots. La raison n'est pas difficile à comprendre puisqu'il y a moins d'instructions INSERT soumises au serveur. la charge du réseau est réduite. Le plus important est que le temps d'analyse et d'optimisation semble augmenter, mais en fait, davantage de lignes de données sont utilisées. Les performances globales sont donc améliorées. Selon certains avis sur Internet, cette méthode peut être améliorée des dizaines de fois.

Cependant, j'ai également vu plusieurs autres méthodes sur Internet, telles que le prétraitement SQL et la soumission par lots. Alors, comment fonctionnent ces méthodes ? Cet article fera une comparaison de ces méthodes.

2. Comparaison des environnements et des méthodes
Mon environnement est relativement difficile, essentiellement une machine virtuelle rétrograde. Il n'y a que 2 cœurs et 6 Go de mémoire. Le système d'exploitation est SUSI Linux et la version MYSQL est 5.6.15.

Comme vous pouvez l'imaginer, les performances de cette machine ont rendu mon TPS très faible, donc toutes les données ci-dessous n'ont aucun sens, mais la tendance est différente, ce qui peut montrer la tendance des performances de l'ensemble de l'insertion.

En raison des caractéristiques commerciales, la table que nous utilisons est très grande, avec un total de 195 champs, et lorsqu'elle est pleine (chaque champ est rempli, y compris varchar), la taille sera légèrement inférieure à 4 Ko , et d'une manière générale, la taille d'un enregistrement est également de 3 Ko.

Car, sur la base de notre expérience réelle, nous sommes presque sûrs que les performances peuvent être considérablement améliorées en soumettant un grand nombre d'instructions INSERT en une seule transaction. Par conséquent, tous les tests ci-dessous sont basés sur la pratique consistant à soumettre tous les 5 000 enregistrements insérés.

Enfin, il convient de noter que tous les tests ci-dessous sont réalisés à l'aide de l'API MYSQL C et utilisent le moteur de stockage INNODB.

3. Comparaison des méthodes

Test du type idéal (1) - Comparaison des méthodes

Objectif : découvrir ce qui est le plus approprié dans des circonstances idéales Mécanisme d'insertion

Méthodes clés :

1. Chaque fil/fil est inséré dans l'ordre de la clé primaire

2. Comparez les différentes méthodes d'insertion

3. Comparez l'impact de différents nombres d'entrées/threads sur l'insertion

Une introduction à la façon doptimiser linsertion par lots de données dans MYSQL

* La « méthode ordinaire » fait référence à la situation où un INSERT n'insère qu'une seule VALEUR.

* « SQL prétraité » fait référence à l'utilisation de l'API MYSQL C prétraitée.

* "Valeurs de table multiples SQL (10 enregistrements)" est une situation dans laquelle 10 enregistrements sont insérés à l'aide d'une instruction INSERT. Pourquoi 10 ? Une vérification ultérieure nous indique que celui-ci présente les performances les plus élevées.

Conclusion, évidemment, à en juger par les tendances des trois méthodes, la méthode SQL à valeurs multi-tables (10 éléments) est la plus efficace.

Test idéal (2) - Comparaison du nombre d'entrées SQL avec plusieurs valeurs de table

Une introduction à la façon doptimiser linsertion par lots de données dans MYSQL

Évidemment, comme la quantité de les données augmentent. Dans ce cas, il est plus efficace d'insérer 10 enregistrements pour chaque instruction INSERT.

Test idéal (3) - comparaison des numéros de connexion

Une introduction à la façon doptimiser linsertion par lots de données dans MYSQL

Une introduction à la façon doptimiser linsertion par lots de données dans MYSQL

Conclusion : La performance est le plus élevé lors de la connexion et du fonctionnement avec 2 fois le nombre de cœurs CPU

Test général - Test basé sur notre volume d'activité

Objectif : le meilleur mécanisme d'insertion est-il adapté aux situations de transaction ordinaires ?

Méthodes clés :

1. Simuler les données de production (chaque enregistrement fait environ 3 Ko)

2. commander

Une introduction à la façon doptimiser linsertion par lots de données dans MYSQL

Évidemment, si l'insertion est effectuée dans le désordre en fonction de la clé primaire, les performances chuteront. Ceci est en fait cohérent avec le phénomène montré dans le principe de mise en œuvre interne d'INNODB. Mais il reste certain que le cas du SQL à valeurs multi-tables (10 entrées) est optimal.

Stress Test

Objectif : Meilleur mécanisme d'insertion pour les situations de trading extrêmes ?

Méthodes clés :

1. 将数据行的每一个字段填满(每条记录约为4KB)

2. 每个线程主键乱序插入

Une introduction à la façon doptimiser linsertion par lots de données dans MYSQL

结果和我们之前的规律类似,性能出现了极端下降。并且这里验证了随着记录的增大(可能已经超过了一个page的大小,毕竟还有slot和page head信息占据空间),会有page split等现象,性能会下降。

四、结论

根据上面的测试,以及我们对INNODB的了解,我们可以得到如下的结论。

•采用顺序主键策略(例如自增主键,或者修改业务逻辑,让插入的记录尽可能顺序主键)

•采用多值表(10条)插入方式最为合适

•将进程/线程数控制在2倍CPU数目相对合适

五、附录

我发现网上很少有完整的针对MYSQL 预处理SQL语句的例子。这里给出一个简单的例子。


--建表语句
CREATE TABLE tbl_test 
(
  pri_key varchar(30), 
  nor_char char(30), 
  max_num DECIMAL(8,0), 
  long_num DECIMAL(12, 0), 
  rec_upd_ts TIMESTAMP
);
Copier après la connexion

c代码


#include <string.h>
#include <iostream>
#include <mysql.h>
#include <sys/time.h>
#include <sstream>
#include <vector>
 
using namespace std;
 
#define STRING_LEN 30
  
char    pri_key            [STRING_LEN]= "123456"; 
char    nor_char           [STRING_LEN]= "abcabc"; 
char    rec_upd_ts          [STRING_LEN]= "NOW()"; 
 
bool SubTimeval(timeval &result, timeval &begin, timeval &end)
{
  if ( begin.tv_sec>end.tv_sec ) return false;
 
  if ( (begin.tv_sec == end.tv_sec) && (begin.tv_usec > end.tv_usec) )  
    return  false;
 
  result.tv_sec = ( end.tv_sec - begin.tv_sec );  
  result.tv_usec = ( end.tv_usec - begin.tv_usec );  
 
  if (result.tv_usec<0) {
    result.tv_sec--;
    result.tv_usec+=1000000;} 
  return true;
}
 
int main(int argc, char ** argv)
{
  INT32 ret = 0;
  char errmsg[200] = {0};
  int sqlCode = 0;
 
  timeval tBegin, tEnd, tDiff;
   
  const char* precompile_statment2 = "INSERT INTO `tbl_test`( pri_key, nor_char, max_num, long_num, rec_upd_ts) VALUES(?, ?, ?, ?, ?)";
   
  MYSQL conn;
  mysql_init(&conn);
   
  if (mysql_real_connect(&conn, "127.0.0.1", "dba", "abcdefg", "TESTDB", 3306, NULL, 0) == NULL)
  {
    fprintf(stderr, " mysql_real_connect, 2 failed\n");
    exit(0);
  }
   
  MYSQL_STMT  *stmt = mysql_stmt_init(&conn);
  if (!stmt)
  {
   fprintf(stderr, " mysql_stmt_init, 2 failed\n");
   fprintf(stderr, " %s\n", mysql_stmt_error(stmt));
   exit(0);
  }
   
  if (mysql_stmt_prepare(stmt, precompile_statment2, strlen(precompile_statment2)))
  {
   fprintf(stderr, " mysql_stmt_prepare, 2 failed\n");
   fprintf(stderr, " %s\n", mysql_stmt_error(stmt));
   exit(0);
  }
   
  int i = 0; 
  int max_num = 3;
  const int FIELD_NUM = 5;
  while (i < max_num)
  {
    //MYSQL_BIND  bind[196] = {0};
    MYSQL_BIND  bind[FIELD_NUM];
    memset(bind, 0, FIELD_NUM * sizeof(MYSQL_BIND));
   
    unsigned long str_length = strlen(pri_key);
    bind[0].buffer_type  = MYSQL_TYPE_STRING;
    bind[0].buffer    = (char *)pri_key;
    bind[0].buffer_length = STRING_LEN;
    bind[0].is_null    = 0;
    bind[0].length    = &str_length;
     
    unsigned long str_length_nor = strlen(nor_char);
    bind[1].buffer_type  = MYSQL_TYPE_STRING;
    bind[1].buffer    = (char *)nor_char;
    bind[1].buffer_length = STRING_LEN;
    bind[1].is_null    = 0;
    bind[1].length    = &str_length_nor;
     
    bind[2].buffer_type  = MYSQL_TYPE_LONG;
    bind[2].buffer    = (char*)&max_num;
    bind[2].is_null    = 0;
    bind[2].length    = 0;
     
    bind[3].buffer_type  = MYSQL_TYPE_LONG;
    bind[3].buffer    = (char*)&max_num;
    bind[3].is_null    = 0;
    bind[3].length    = 0;
     
    MYSQL_TIME ts;
    ts.year= 2002;
    ts.month= 02;
    ts.day= 03;
    ts.hour= 10;
    ts.minute= 45;
    ts.second= 20;
     
    unsigned long str_length_time = strlen(rec_upd_ts);
    bind[4].buffer_type  = MYSQL_TYPE_TIMESTAMP;
    bind[4].buffer    = (char *)&ts;
    bind[4].is_null    = 0;
    bind[4].length    = 0;
     
    if (mysql_stmt_bind_param(stmt, bind))
    {
      fprintf(stderr, " mysql_stmt_bind_param, 2 failed\n");
      fprintf(stderr, " %s\n", mysql_stmt_error(stmt));
      exit(0);
    }
     
    cout << "before execute\n";
    if (mysql_stmt_execute(stmt))
    {
     fprintf(stderr, " mysql_stmt_execute, 2 failed\n");
     fprintf(stderr, " %s\n", mysql_stmt_error(stmt));
     exit(0);
    }
    cout << "after execute\n";
     
    i++;
  }
   
  mysql_commit(&conn);
   
  mysql_stmt_close(stmt);
 
  return 0;  
}
Copier après la connexion

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Comment déverrouiller tout dans Myrise
4 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

MySQL: la facilité de gestion des données pour les débutants MySQL: la facilité de gestion des données pour les débutants Apr 09, 2025 am 12:07 AM

MySQL convient aux débutants car il est simple à installer, puissant et facile à gérer les données. 1. Installation et configuration simples, adaptées à une variété de systèmes d'exploitation. 2. Prise en charge des opérations de base telles que la création de bases de données et de tables, d'insertion, d'interrogation, de mise à jour et de suppression de données. 3. Fournir des fonctions avancées telles que les opérations de jointure et les sous-questionnaires. 4. Les performances peuvent être améliorées par l'indexation, l'optimisation des requêtes et le partitionnement de la table. 5. Prise en charge des mesures de sauvegarde, de récupération et de sécurité pour garantir la sécurité et la cohérence des données.

Puis-je récupérer le mot de passe de la base de données dans Navicat? Puis-je récupérer le mot de passe de la base de données dans Navicat? Apr 08, 2025 pm 09:51 PM

Navicat lui-même ne stocke pas le mot de passe de la base de données et ne peut récupérer que le mot de passe chiffré. Solution: 1. Vérifiez le gestionnaire de mots de passe; 2. Vérifiez la fonction "Remember Motway" de Navicat; 3. Réinitialisez le mot de passe de la base de données; 4. Contactez l'administrateur de la base de données.

MySQL: Concepts simples pour l'apprentissage facile MySQL: Concepts simples pour l'apprentissage facile Apr 10, 2025 am 09:29 AM

MySQL est un système de gestion de base de données relationnel open source. 1) Créez une base de données et des tables: utilisez les commandes CreateDatabase et CreateTable. 2) Opérations de base: insérer, mettre à jour, supprimer et sélectionner. 3) Opérations avancées: jointure, sous-requête et traitement des transactions. 4) Compétences de débogage: vérifiez la syntaxe, le type de données et les autorisations. 5) Suggestions d'optimisation: utilisez des index, évitez de sélectionner * et utilisez les transactions.

Comment créer Navicat Premium Comment créer Navicat Premium Apr 09, 2025 am 07:09 AM

Créez une base de données à l'aide de NAVICAT Premium: Connectez-vous au serveur de base de données et entrez les paramètres de connexion. Cliquez avec le bouton droit sur le serveur et sélectionnez Créer une base de données. Entrez le nom de la nouvelle base de données et le jeu de caractères spécifié et la collation. Connectez-vous à la nouvelle base de données et créez le tableau dans le navigateur d'objet. Cliquez avec le bouton droit sur le tableau et sélectionnez Insérer des données pour insérer les données.

Comment afficher le mot de passe de la base de données dans NAVICAT pour MARIADB? Comment afficher le mot de passe de la base de données dans NAVICAT pour MARIADB? Apr 08, 2025 pm 09:18 PM

NAVICAT pour MARIADB ne peut pas afficher directement le mot de passe de la base de données car le mot de passe est stocké sous forme cryptée. Pour garantir la sécurité de la base de données, il existe trois façons de réinitialiser votre mot de passe: réinitialisez votre mot de passe via Navicat et définissez un mot de passe complexe. Affichez le fichier de configuration (non recommandé, haut risque). Utilisez des outils de ligne de commande système (non recommandés, vous devez être compétent dans les outils de ligne de commande).

MySQL et SQL: Compétences essentielles pour les développeurs MySQL et SQL: Compétences essentielles pour les développeurs Apr 10, 2025 am 09:30 AM

MySQL et SQL sont des compétences essentielles pour les développeurs. 1.MySQL est un système de gestion de base de données relationnel open source, et SQL est le langage standard utilisé pour gérer et exploiter des bases de données. 2.MySQL prend en charge plusieurs moteurs de stockage via des fonctions de stockage et de récupération de données efficaces, et SQL termine des opérations de données complexes via des instructions simples. 3. Les exemples d'utilisation comprennent les requêtes de base et les requêtes avancées, telles que le filtrage et le tri par condition. 4. Les erreurs courantes incluent les erreurs de syntaxe et les problèmes de performances, qui peuvent être optimisées en vérifiant les instructions SQL et en utilisant des commandes Explication. 5. Les techniques d'optimisation des performances incluent l'utilisation d'index, d'éviter la numérisation complète de la table, d'optimiser les opérations de jointure et d'améliorer la lisibilité du code.

Comment créer une nouvelle connexion à MySQL dans Navicat Comment créer une nouvelle connexion à MySQL dans Navicat Apr 09, 2025 am 07:21 AM

Vous pouvez créer une nouvelle connexion MySQL dans NAVICAT en suivant les étapes: ouvrez l'application et sélectionnez une nouvelle connexion (CTRL N). Sélectionnez "MySQL" comme type de connexion. Entrez l'adresse Hostname / IP, le port, le nom d'utilisateur et le mot de passe. (Facultatif) Configurer les options avancées. Enregistrez la connexion et entrez le nom de la connexion.

Comment exécuter SQL dans Navicat Comment exécuter SQL dans Navicat Apr 08, 2025 pm 11:42 PM

Étapes pour effectuer SQL dans NAVICAT: Connectez-vous à la base de données. Créez une fenêtre d'éditeur SQL. Écrivez des requêtes ou des scripts SQL. Cliquez sur le bouton Exécuter pour exécuter une requête ou un script. Affichez les résultats (si la requête est exécutée).

See all articles