Analyse comparative de l'efficacité de la lecture de fichiers volumineux à l'aide de la fonction file et de la fonction fseek en PHP

PHP peut utiliser la fonction de fichier et la fonction fseek pour lire des fichiers volumineux, mais il peut y avoir des différences d'efficacité entre les deux. Cet article vous présentera une analyse comparative de la fonction de fichier php et de la fonction fseek pour réaliser la lecture de fichiers volumineux. Efficacité. Les amis qui en ont besoin peuvent le faire pour référence.

1. Utilisez directement la fonction file pour fonctionner

Puisque la fonction file lit tout le contenu dans la mémoire en même temps, PHP a pour but d'empêcher certains programmes mal écrits de prend trop de temps La mémoire système est insuffisante, provoquant le crash du serveur, donc par défaut l'utilisation maximale de la mémoire est limitée à 16 Mo. Ceci est défini via memory_limit = 16M dans php.ini. mémoire Il n'y a aucune limite d'utilisation.

Ce qui suit est un morceau de code qui utilise file pour extraire la dernière ligne de ce fichier :

<?php
  ini_set(&#39;memory_limit&#39;, &#39;-1&#39;);
  $file = &#39;access.log&#39;;
  $data = file($file);
  $line = $data[count($data) - 1];
  echo $line;
  ?>

L'exécution complète du code a pris 116,9613 (s).

Ma machine dispose de 2 Go de mémoire. Lorsque j'appuie sur F5 pour exécuter, le système devient gris et la récupération prend près de 20 minutes. On peut voir que si un fichier aussi volumineux est lu directement dans la mémoire, quelles sont les conséquences ? C'est grave, donc ce n'est pas un dernier recours. La limite de mémoire ne peut pas être réglée trop haut, sinon le seul choix est d'appeler la salle informatique et de demander la réinitialisation de la machine.

2. Utilisez directement fseek de PHP pour effectuer des opérations sur les fichiers

Cette méthode est la méthode la plus courante. Elle n'a pas besoin de lire tout le contenu du fichier, mais directement via l'opération de pointeur. , donc l'efficacité est assez efficace. Lorsque vous utilisez fseek pour exploiter des fichiers, il existe de nombreuses méthodes différentes, et l'efficacité peut être légèrement différente. Voici deux méthodes couramment utilisées :

Méthode 1

Premier passage fseek Trouver le dernier EOF. du fichier, puis trouvez la position de départ de la dernière ligne, récupérez les données de cette ligne, puis trouvez la position de départ de la ligne suivante, puis prenez la position de cette ligne, et ainsi de suite, jusqu'à ce que la ligne $num soit trouvée .

Le code d'implémentation est le suivant

<?php
  $fp = fopen($file, "r");
  $line = 10;
  $pos = -2;
  $t = " ";
  $data = "";
  while ($line > 0)
  {
    while ($t != "\n")
    {
      fseek($fp, $pos, SEEK_END);
      $t = fgetc($fp);
      $pos--;
    }// http://www.manongjc.com
    $t = " ";
    $data .= fgets($fp);
    $line--;
  }
  fclose($fp);
  echo $data
  ?>

L'exécution entière du code prend 0,0095 (s)

Méthode 2

Utilisez toujours fseek pour lire à partir de la fin du fichier, mais cette fois, il ne s'agit pas de lire petit à petit, mais de lire morceau par morceau. Chaque fois qu'une donnée est lue, les données lues sont placées dedans. a buf , puis utilisez le nombre de caractères de nouvelle ligne (n) pour déterminer si les dernières $num lignes de données ont été lues.

Le code d'implémentation est le suivant

<?php
  $fp = fopen($file, "r");
  $num = 10;
  $chunk = 4096;
  $fs = sprintf("%u", filesize($file));
  $max = (intval($fs) == PHP_INT_MAX) ? PHP_INT_MAX : filesize($file);
  for ($len = 0; $len < $max; $len += $chunk)
  {
    $seekSize = ($max - $len > $chunk) ? $chunk : $max - $len;
    fseek($fp, ($len + $seekSize) * -1, SEEK_END);
    $readData = fread($fp, $seekSize) . $readData;
    if (substr_count($readData, "\n") >= $num + 1)
    {
      // 作者：码农教程  http://www.manongjc.com
      preg_match("!(.*?\n){" . ($num) . "}$!", $readData, $match);
      $data = $match[0];
      break;
    }
  }
  fclose($fp);
  echo $data;
  ?>

L'exécution entière du code prend 0,0009(s).

Méthode 3

<?php
  function tail($fp, $n, $base = 5)
  {
    assert($n > 0);
    $pos = $n + 1;
    $lines = array();
    while (count($lines) <= $n)
    {
      try
      {
        fseek($fp, -$pos, SEEK_END);
      }
      catch (Exception $e)
      {
        fseek(0);
        break;
      }
      $pos *= $base;
      while (!feof($fp))
      {
        array_unshift($lines, fgets($fp));
      }
    }
   
    return array_slice($lines, 0, $n);
  }
   
  var_dump(tail(fopen("access.log", "r+"), 10));
  ?>

L'exécution entière du code prend 0,0003(s)

C'est tout pour cet article Contenu , j'espère que cela sera utile à l'apprentissage de tout le monde, et j'espère également que tout le monde soutiendra le site Web PHP chinois.

Pour plus d'articles liés à l'analyse comparative de l'efficacité de la lecture de fichiers volumineux à l'aide de la fonction file et de la fonction fseek en PHP, veuillez faire attention au site Web PHP chinois !