PHP_PHP チュートリアルで大量のデータをループするときのメモリ枯渇の問題の解決策-PHPチュートリアル-php.cn

PHP_PHP チュートリアルで大量のデータをループするときのメモリ枯渇の問題の解決策

WBOY

リリース： 2016-07-12 09:07:50

オリジナル

872 人が閲覧しました

PHPが大量のデータをループするときのメモリ枯渇の問題の解決策

最近、PHP プログラムの開発中に次のエラーが発生しました:

PHP 致命的エラー: 許可されたメモリサイズ 268 435 456 バイトが使い果たされました

エラーメッセージは、最大許容メモリが使い果たされたことを示しています。最初はこのようなエラーが発生したことに驚きましたが、よく考えてみると、私が開発しているプログラムでは foreach ループステートメントを使用して、40,000 レコードのデータを持つテーブル内の特定の特性を持つテーブル全体を検索するため、驚くべきことではありません。つまり一度に40,000件のデータを取り出し、毎日のデータを一つ一つチェックしなければなりません。 40,000 個のデータがすべてメモリに読み込まれていると考えられます。メモリがバーストしないのは不思議です。

結局、何年もプログラミングをしてきたので、PHP が提供する API はデータを一度にロードせず、ストリーミングメディアのように使用して失われる可能性があり、データが蓄積されないことを漠然と覚えています。想い出。簡単に検索したところ、公式Webサイトに正しい使用方法が見つかりました。

この問題は、PHP の公式 Web サイトでは「バッファー付きクエリ」と「バッファーなしクエリ」と呼ばれています。 PHP のデフォルトのクエリモードはバッファモードです。つまり、クエリデータの結果は、PHP プログラムによる処理のために一度にメモリに抽出されます。これにより、PHP プログラムに行数のカウント、特定の行へのポインタの指示などの追加機能が与えられます。さらに重要なことは、プログラムがデータセットに対して二次クエリとフィルタリング操作を繰り返し実行できることです。ただし、このバッファークエリモードの欠点は、メモリを消費すること、つまり、速度と引き換えにスペースを消費することです。

対照的に、別の PHP クエリモードはバッファなしクエリであり、データベースサーバーはデータを一度に返すのではなく 1 つずつ返します。その結果、PHP プログラムが消費するメモリは少なくなりますが、データベースサーバーへの負荷は増大します。すべてのデータがフェッチされるまで、データベースは PHP がデータをフェッチするのを待機するためです。

明らかに、バッファークエリモードは少量のデータ量のクエリに適しており、非バッファークエリは大量のデータ量のクエリに適しています。

PHP のバッファーモードクエリについては誰もが知っています。以下に示す例は、非バッファークエリ API を実行する方法です。

非バッファークエリメソッド 1: mysqli

$mysqli = new mysqli("localhost", "my_user", "my_password", "world"); $uresult = $mysqli->query("都市から名前を選択", MYSQLI_USE_RESULT);

if ($uresult) {

while ($row = $uresult->fetch_assoc()) {
エコー $row['名前'] .PHP_EOL
}
}
$uresult->close(); ?>

非バッファークエリメソッド 2: pdo_mysql

$pdo = 新しい PDO("mysql:host=localhost;dbname=world", 'my_user', 'my_pass'); $pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);

$uresult = $pdo->query("都市から名前を選択"); if ($result) {
while ($row = $uresult->fetch(PDO::FETCH_ASSOC)) {

エコー $row['名前'] .PHP_EOL

}
}
?>

非バッファークエリメソッド 3: mysql

$conn = mysql_connect("localhost", "my_user", "my_pass"); $db = mysql_select_db("ワールド");