如何在 Laravel 中處理大型資料集而不耗盡內存-php教程-PHP中文網

How to Handle Large Datasets in Laravel Without Running Out of Memory

如何在 Laravel 中處理大型資料集而不耗盡內存

在 Laravel 處理大量資料時，經常會遇到應用程式記憶體不足等問題。當嘗試一次將數千（甚至數百萬）筆記錄載入到記憶體中時，可能會發生這種情況。然而，Laravel 提供了一些有用的方法來幫助您以較小的區塊處理數據，從而節省記憶體並使應用程式運行得更快。在這篇文章中，我們將介紹如何使用 chunk()、chunkById() 和 Lazy Collections 在 Laravel 中有效處理大型資料集。

chunk() 方法是什麼？

Laravel 中的 chunk() 方法可讓您一次檢索一小部分記錄，而不是一次載入所有內容。當您需要處理大量記錄但又想避免使用過多記憶體時，此方法很有用。

範例：使用 chunk() 批次處理數據

假設您有一個訂單表，並且您想要將每個訂單的狀態更新為「已處理」。您可以使用 chunk() 一次加載 100 個訂單並以較小的批次處理它們，而不是一次將所有訂單加載到記憶體中。

use App\Models\Order;

Order::chunk(100, function ($orders) {
    foreach ($orders as $order) {
        // Process each order
        $order->update(['status' => 'processed']);
    }
});

登入後複製

100 是您要一次處理的記錄數。
將為 100 筆記錄的每個「區塊」呼叫回呼函數。
處理完前 100 個後，將繼續處理下一批，依此類推。

為什麼要使用 chunk()？

節省記憶體：Laravel 不會一次載入所有記錄，而是只載入一小部分記錄（在我們的範例中為 100 條），從而保持較低的記憶體使用量。
高效處理：這使得您可以更輕鬆地處理大型資料集，而不會導致應用程式崩潰或變慢。

chunkById() 方法是什麼？

chunkById() 方法與 chunk() 類似，但在處理記錄時更新記錄時效果更好。此方法可確保始終透過 id 列以一致的順序檢索記錄，從而更安全地更新資料而不會遺失任何記錄。

範例：使用 chunkById() 進行一致更新

假設您想要更新訂單的狀態，但您也需要確保訂單 ID 依序處理。使用 chunkById() 可確保訂單不會被跳過或處理兩次，即使您正在更新它們也是如此。

use App\Models\Order;

Order::chunk(100, function ($orders) {
    foreach ($orders as $order) {
        // Process each order
        $order->update(['status' => 'processed']);
    }
});

登入後複製

chunkById(100) 方法確保以 100 筆為批次檢索記錄，但僅取得 id 大於上一批的訂單。這可以防止遺失記錄。
“id”是用來決定記錄處理順序的列。

為什麼要使用 chunkById()？

一致性：當您在處理記錄的同時更新記錄時，chunkById() 有助於保持資料一致，防止記錄被跳過或處理兩次。
對於大數據更新來說是安全的：當您在過程中修改記錄（例如更新其狀態）時，這是理想的選擇。

使用惰性集合進行一對一處理

chunk() 和 chunkById() 批次處理記錄，Lazy Collections 允許您一則處理記錄。當您想要在檢索時處理每筆記錄而不佔用太多記憶體時，這特別有用。

範例：使用惰性集合

如果您一次只需要處理一筆記錄，Lazy Collections 可能是個不錯的選擇。這是我們單獨處理每個訂單記錄的範例：

use App\Models\Order;

Order::chunkById(100, function ($orders) {
    foreach ($orders as $order) {
        // Update each order's status
        $order->update(['status' => 'processed']);
    }
}, 'id');

登入後複製