MySQL の一括挿入を使用して一括データ インポートを最適化する方法

MySQL のバッチ挿入を使用して、大量のデータ バッチのインポートを最適化する方法

1. はじめに
実際の開発では、多くの場合、大量のデータ バッチを MySQL データベースにインポートする必要があります。従来の 1 つずつ挿入する方法は非効率で時間がかかり、システムのパフォーマンスに重大な影響を与えます。データ インポートの効率を向上させるために、MySQL のバッチ挿入最適化戦略を使用して、大量のデータ バッチのインポートを処理できます。

2. MySQL バッチ挿入最適化スキルを使用する

1. INSERT INTO...VALUES メソッドを使用して複数行のレコードを挿入する
   MySQL では、INSERT INTO.. を使用できます。 . . VALUES メソッドを使用して複数行のレコードを挿入します。このメソッドでは、複数行のレコードを 1 つずつ挿入するのではなく、一度に挿入できます。

サンプル コードは次のとおりです。

INSERT INTO table_name (column1, column2, column3)
VALUES (value1, value2, value3),

   (value1, value2, value3),
   (value1, value2, value3),
   ...

2. LOAD DATA INFILE を使用してデータ ファイルをインポートする
   MySQL には、ファイルからデータベース テーブルにデータを直接インポートできる LOAD DATA INFILE コマンドが用意されています。 INSERT INTO... VALUES を使用してデータを挿入する場合と比較して、LOAD DATA INFILE を使用すると、大量のデータのバッチをより効率的にインポートできます。

サンプル コードは次のとおりです。

LOAD DATA INFILE 'path/to/file.csv'
INTO TABLE table_name
FIELDS TERMINATED BY ','
LINES TERMINATED BY '
';

3. INSERT INTO の代わりに REPLACE INTO を使用してください
   インポートするデータに重複レコードが存在する可能性がある場合は、代わりに REPLACE INTO を使用できます。 INSERT INTO: 古いレコードが自動的に削除され、新しいレコードが挿入されます。この方法により、データのインポートの効率も向上します。

サンプル コードは次のとおりです。

REPLACE INTO table_name (column1, column2, column3)
VALUES (value1, value2, value3),

   (value1, value2, value3),
   (value1, value2, value3),
   ...

4. データ インポートのトランザクション処理を最適化する
   大量のデータ バッチをインポートする場合は、挿入操作をトランザクションに配置して処理することを検討できます。トランザクションにより、すべての挿入操作が成功するかロールバックされることが保証されます。これにより、データの整合性が効果的に確保され、挿入操作の効率が向上します。

サンプル コードは次のとおりです。

START TRANSACTION;
INSERT INTO table_name (column1, column2, column3) VALUES (value1, value2, value3);
INSERT INTO table_name (column1, column2, column3) VALUES (value1, value2, value3);
...
COMMIT;

5. 適切なトランザクション送信頻度を設定します
   適切なトランザクションの送信頻度によっても、データのインポートの効率がある程度向上します。コミットが多すぎるとトランザクション処理のオーバーヘッドが増加しますが、コミットが少なすぎるとトランザクション処理に時間がかかりすぎます。

サンプル コードは次のとおりです。

// 1000 レコードが挿入されるたびに、トランザクションが送信されます
START TRANSACTION;
...
IF (INSERT_COUNT % 1000 = 0) THEN

COMMIT;

END IF;
...

3. 概要
上記では、MySQL のバッチ挿入最適化戦略を使用して次の処理を行う方法を紹介しています。大量のデータのインポートに関する質問です。実際のアプリケーションでは、特定のニーズに応じて適切な方法を選択できるため、データインポートの効率が向上します。バッチ挿入手法を合理的に使用することで、データベースの負荷を軽減し、システムのパフォーマンスを向上させることができます。

以上がMySQL の一括挿入を使用して一括データ インポートを最適化する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。