Comment puis-je optimiser les insertions par lots JDBC pour des performances MySQL maximales ?

Optimisation des performances d'insertion par lots JDBC

L'insertion de grands volumes de données dans une base de données MySQL nécessite un traitement par lots efficace pour garantir des performances optimales. Bien que l'insertion par lots d'un million d'enregistrements à la fois puisse sembler raisonnable, il existe des techniques pour optimiser davantage ce processus.

Comprendre le problème

Le code fourni utilise une instruction préparée pour insérer des valeurs dans une table, mais il n'exploite pas deux clés propriétés :

• useServerPrepStmts : Lorsqu'il est défini sur false, MySQL préparera l'instruction sur le serveur au lieu du client, réduisant ainsi la surcharge du réseau.
• rewriteBatchedStatements : Lorsqu'il est défini sur true, MySQL réécrira les instructions par lots pour utiliser une exécution multi-instructions plus efficace méthode.

Optimisation de la connexion

Pour activer ces optimisations, définissez les deux propriétés dans l'URL de connexion :

Connection c = DriverManager.getConnection("jdbc:mysql://host:3306/db?useServerPrepStmts=false&rewriteBatchedStatements=true", "username", "password");

Code modifié

Avec ces optimisations en place, le code mis à jour devient :

try {
    // Disable auto-commit
    c.setAutoCommit(false);

    // Create a prepared statement
    String sql = "INSERT INTO mytable (xxx), VALUES(?)";
    PreparedStatement pstmt = c.prepareStatement(sql);

    Object[] vals=set.toArray();
    for (int i=0; i<vals.length; i++) {
        pstmt.setString(1, vals[i].toString());
        pstmt.addBatch();
    }

    // Execute the batch
    int [] updateCounts = pstmt.executeBatch();
    System.out.append("inserted "+updateCounts.length);
} catch (SQLException e) {
    e.printStackTrace();
}

Conclusion

En définissant les propriétés "useServerPrepStmts" et "rewriteBatchedStatements", le processus d'insertion par lots peut être considérablement optimisé, réduisant ainsi le temps écoulé requis pour insérer de gros volumes de données.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!