在ThinkPHP6中使用Mysql進行大批量資料導入

隨著資料量不斷增加，許多企業需要將大量資料匯入到資料庫中。但是對於開發人員來說，如何有效率地進行資料導入，卻是值得探討的問題。在本文中，我們將介紹如何在ThinkPHP6框架中使用Mysql進行大批量資料匯入。

1. 準備資料

在開始導入之前，我們需要準備好資料。資料可以以CSV、Excel等格式匯出，也可以直接由程式碼產生。在本文中，我們將使用程式碼產生資料。

先建立一個資料表user：

CREATE TABLE `user` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(255) DEFAULT NULL,
  `age` int(11) DEFAULT NULL,
  `created_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  `updated_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4;

然後寫以下程式碼產生1000個資料：

use thinkacadeDb;

// 生成测试数据
$data = [];
for ($i = 1; $i <= 1000; $i++) {
    $data[] = [
        'name' => 'User' . $i,
        'age' => mt_rand(18, 60),
    ];
}

// 批量插入数据
Db::name('user')->insertAll($data);

2. 使用Mysql的LOAD DATA功能匯入資料

Mysql提供了一個非常方便的功能LOAD DATA，可以將資料從檔案匯入到表中。我們只需要將資料儲存到一個CSV檔案中，然後使用LOAD DATA指令將資料匯入到表中。

首先，將所有資料儲存到CSV檔案中。在本例中，我們將資料儲存到user.csv檔案中：

use thinkacadeDb;

$data = Db::name('user')->select();

$fp = fopen('user.csv', 'w');

//写数据到CSV文件中
foreach ($data as $item) {
    fputcsv($fp, [$item['name'], $item['age']]);
}

fclose($fp);

然後使用下列程式碼將資料匯入到資料庫中：

use thinkacadeDb;

$filename = 'user.csv';

$sql = <<<EOF
    LOAD DATA LOCAL INFILE '{$filename}'
     INTO TABLE `user` CHARACTER SET utf8mb4 FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY '
'
     (`name`, `age`)
EOF;

Db::query($sql);

在上述程式碼中，我們首先指定要匯入的檔案路徑，然後編寫SQL語句，使用LOAD DATA將資料匯入到資料庫中。要注意的是，在匯入之前需要確保Mysql的local_infile選項已經開啟。

3. 使用TP6自帶的批次插入功能導入資料

Mysql的LOAD DATA功能雖然方便快捷，但是需要將資料儲存為文件，而且需要手動編寫SQL語句，操作起來較為繁瑣。在TP6中，我們可以使用自帶的批次插入功能，一次插入大量資料。

在上面的範例中，我們使用以下程式碼將資料插入資料庫：

use thinkacadeDb;

$data = Db::name('user')->select();

$result = Db::name('user')->insertAll($data);

在上述程式碼中，我們首先查詢所有數據，然後使用insertAll方法批量插入資料。需要注意的是，insertAll方法預設一次最多插入1000條資料。如果要插入更多數據，則需要在insertAll方法中指定$limit參數。例如，以下程式碼將每次最多插入500個資料：

use thinkacadeDb;

$data = Db::name('user')->select();

$limit = 500;
$total = count($data);
for ($i = 0; $i < $total; $i += $limit) {
    $result = Db::name('user')->insertAll(array_slice($data, $i, $limit));
}

在上述程式碼中，我們使用循環的方式將資料分批插入。每次最多插入500條數據，直到全部完成。

總結：

在ThinkPHP6中進行大批量資料匯入，可能會遇到記憶體溢出、效能瓶頸等問題，但透過使用Mysql的LOAD DATA功能、TP6自帶的批次插入功能、手動分批插入資料等方法，可有效提升資料導入的效率。在實際開發過程中，需要根據情況選擇適當的方法，以達到最優的導入效果。

以上是在ThinkPHP6中使用Mysql進行大批量資料導入的詳細內容。更多資訊請關注PHP中文網其他相關文章！