PHP verwendet die Dateifunktion und die Fseek-Funktion, um die Effizienzanalyse großer Dateien zu lesen

PHP kann die Dateifunktion und die Fseek-Funktion zum Lesen großer Dateien verwenden, es kann jedoch Unterschiede in der Effizienz zwischen beiden geben. In diesem Artikel wird Ihnen eine vergleichende Analyse der PHP-Dateifunktion und der Fseek-Funktion zum Lesen großer Dateien vorgestellt Effizienz. Freunde, die es brauchen, können als Referenz dienen.

1. Verwenden Sie zum Betrieb direkt die Dateifunktion.

Da die Dateifunktion den gesamten Inhalt auf einmal einliest, verhindert PHP, dass einige schlecht geschriebene Programme zu viel Speicher beanspruchen führt zu unzureichendem Systemspeicher und zum Absturz des Servers, daher ist die maximale Speichernutzung standardmäßig auf 16 MB begrenzt. Dies wird durch „memory_limit = 16 MB“ in php.ini festgelegt. Wenn dieser Wert auf -1 gesetzt ist, ist die Speichernutzung nicht vorhanden Eingeschränkt.

Das Folgende ist ein Codestück, das file verwendet, um die letzte Zeile dieser Datei zu extrahieren:

<?php
   ini_set(&#39;memory_limit&#39;, &#39;-1&#39;);
   $file = &#39;access.log&#39;;
   $data = file($file);
   $line = $data[count($data) - 1];
   echo $line;
   ?>

Die gesamte Codeausführung dauert 116,9613 (s).

Mein Rechner verfügt über 2 GB Speicher, das System wird ausgegraut und es dauert fast 20 Minuten, bis eine so große Datei direkt in den Speicher eingelesen wird. Was sind die Konsequenzen? Es ist ernst, also ist es kein letzter Ausweg. Die Sache mit dem Speicherlimit kann nicht zu hoch eingestellt werden. Andernfalls besteht die einzige Möglichkeit darin, den Computerraum anzurufen und die Maschine zurückzusetzen.

2. Verwenden Sie fseek direkt, um Dateioperationen durchzuführen.

Diese Methode ist nicht das Lesen des gesamten Inhalts der Datei. Es arbeitet direkt über Zeiger, sodass die Effizienz recht effizient ist. Bei der Verwendung von fseek zum Bearbeiten von Dateien gibt es viele verschiedene Methoden, und die Effizienz kann geringfügig unterschiedlich sein. Die folgenden zwei häufig verwendeten Methoden sind:

Methode 1

Erster Durchgang fseek Finden Sie das letzte EOF der Datei, suchen Sie dann die Startposition der letzten Zeile, rufen Sie die Daten dieser Zeile ab, suchen Sie dann die Startposition der nächsten Zeile, nehmen Sie dann die Position dieser Zeile usw., bis die Zeile $num gefunden wird .

#Der Implementierungscode lautet wie folgt

<?php
   $fp = fopen($file, "r");
   $line = 10;
   $pos = -2;
   $t = " ";
   $data = "";
   while ($line > 0)
   {
       while ($t != "\n")
       {
           fseek($fp, $pos, SEEK_END);
           $t = fgetc($fp);
           $pos--;
       }//  http://www.manongjc.com
       $t = " ";
       $data .= fgets($fp);
       $line--;
   }
   fclose($fp);
   echo $data
   ?>

Die gesamte Codeausführung dauert 0,0095 (s)

Methode 2

Verwenden Sie immer noch fseek, um vom Ende der Datei zu lesen, aber dieses Mal wird nicht Stück für Stück, sondern Stück für Stück gelesen. Jedes Mal, wenn ein Datenelement gelesen wird, werden die gelesenen Daten in einen Puffer gestellt und dann newline Die Anzahl der Zeichen (n) wird verwendet, um zu bestimmen, ob die letzten $num Datenzeilen gelesen wurden.

#Der Implementierungscode lautet wie folgt

<?php
   $fp = fopen($file, "r");
   $num = 10;
   $chunk = 4096;
   $fs = sprintf("%u", filesize($file));
   $max = (intval($fs) == PHP_INT_MAX) ? PHP_INT_MAX : filesize($file);
   for ($len = 0; $len < $max; $len += $chunk)
   {
       $seekSize = ($max - $len > $chunk) ? $chunk : $max - $len;
       fseek($fp, ($len + $seekSize) * -1, SEEK_END);
       $readData = fread($fp, $seekSize) . $readData;
       if (substr_count($readData, "\n") >= $num + 1)
       {
           // 作者：码农教程   http://www.manongjc.com
           preg_match("!(.*?\n){" . ($num) . "}$!", $readData, $match);
           $data = $match[0];
           break;
       }
   }
   fclose($fp);
   echo $data;
   ?>

Die gesamte Codeausführung dauert 0,0009(s).

Methode 3

<?php
   function tail($fp, $n, $base = 5)
   {
       assert($n > 0);
       $pos = $n + 1;
       $lines = array();
       while (count($lines) <= $n)
       {
           try
           {
               fseek($fp, -$pos, SEEK_END);
           }
           catch (Exception $e)
           {
               fseek(0);
               break;
           }
           $pos *= $base;
           while (!feof($fp))
           {
               array_unshift($lines, fgets($fp));
           }
       }
    
       return array_slice($lines, 0, $n);
   }
    
   var_dump(tail(fopen("access.log", "r+"), 10));
   ?>

Die gesamte Codeausführung dauert 0,0003(s)