PHP_php 팁을 사용하여 대용량 파일을 읽는 다양한 방법 소개

큰 파일을 읽는 것은 항상 골치 아픈 일이었습니다. 예를 들어, 작은 파일을 개발하고 읽는 데 PHP를 사용하면 이를 달성하기 위해 다양한 기능을 직접 사용할 수 있습니다. 그러나 큰 문서에 도달하면 다음과 같은 사실을 알게 됩니다. 일반적으로 사용되는 방법은 정상적으로 사용할 수 없거나 시간이 너무 오래 걸립니다. PHP에서 대용량 파일을 읽는 문제에 대한 해결책을 살펴보겠습니다.

PHP에서 파일을 읽을 때 가장 빠른 방법은 file 및 file_get_contents와 같은 일부 기능을 사용하는 것입니다. 몇 줄의 간단한 코드만으로 필요한 기능을 아름답게 완성할 수 있습니다. 그러나 운용 중인 파일이 상대적으로 큰 파일인 경우에는 이러한 기능이 충분하지 않을 수 있습니다. 다음은 대용량 파일을 읽을 때 일반적으로 사용되는 조작 방법을 설명하기 위한 요구 사항부터 시작합니다.

요구사항:
약 500만 줄의 800M 로그 파일이 있습니다. PHP를 사용하여 마지막 몇 줄의 내용을 반환하세요.

구현 방법:

1. 파일 기능을 직접 사용하여 조작
파일 기능은 모든 내용을 한 번에 메모리로 읽어들이기 때문에 PHP는 잘못 작성된 일부 프로그램이 너무 많은 메모리를 차지하고 시스템 메모리가 부족하여 서버가 충돌하는 것을 방지하기 위해 기본적으로 최대 사용량으로 제한됩니다. 16M, php.ini에서 memory_limit = 16M으로 설정됩니다. 이 값을 -1로 설정하면 메모리 사용량이 제한되지 않습니다.

다음은 file을 사용하여 이 파일의 마지막 줄을 추출하는 코드입니다.

<&#63;php
　　ini_set('memory_limit', '-1');
　　$file = 'access.log';
　　$data = file($file);
　　$line = $data[count($data) - 1];
　　echo $line;
&#63;>

전체 코드 실행에는 116.9613(s)이 소요됩니다.
내 컴퓨터에는 2G의 메모리가 있습니다. F5를 눌러 실행하면 시스템이 회색으로 바뀌고 거의 20분 후에야 복구됩니다. 이렇게 큰 파일을 메모리에 직접 읽어 들인 결과가 매우 심각하다는 것을 알 수 있습니다. 따라서 최후의 수단이 아닙니다. 따라서 memory_limit를 너무 높게 조정할 수 없습니다. 그렇지 않으면 유일한 선택은 컴퓨터실에 전화하여 시스템을 재설정하도록 요청하는 것입니다.

2. Linux tail 명령을 직접 호출하여 마지막 몇 줄을 표시합니다
Linux 명령줄에서 tail -n 10 access.log를 직접 사용하면 로그 파일의 마지막 몇 줄을 쉽게 표시할 수 있습니다. PHP를 사용하여 tail 명령을 직접 호출할 수 있습니다.

<&#63;php
  $file = 'access.log';
  $file = escapeshellarg($file); // 对命令行参数进行安全转义
  $line = `tail -n 1 $file`;
  echo $line;
&#63;>

전체 코드 실행 시간은 0.0034(s)입니다

3. PHP의 fseek를 직접 사용하여 파일 작업 수행
이 방법은 가장 일반적인 방법으로 파일의 모든 내용을 읽을 필요는 없지만 포인터를 통해 직접 동작하므로 효율성이 매우 효율적입니다. fseek를 사용하여 파일을 조작할 때 다양한 방법이 있으며 효율성이 약간 다를 수 있습니다. 다음은 일반적으로 사용되는 두 가지 방법입니다.

방법 1
먼저 fseek를 통해 파일의 마지막 EOF를 찾은 다음 마지막 줄의 시작 위치를 찾고, 이 줄의 데이터를 가져온 다음, 다음 줄의 시작 위치를 찾은 다음, 이 줄의 위치를 ​​가져오는 식으로 진행됩니다. $num이 발견될 때까지 괜찮습니다.
구현 코드는 다음과 같습니다

<&#63;php
$fp = fopen($file, "r");
$line = 10;
$pos = -2;
$t = " ";
$data = "";
while ($line > 0)
{
 while ($t != "＼n")
 {
 fseek($fp, $pos, SEEK_END);
 $t = fgetc($fp);
 $pos--;
 }
 $t = " ";
 $data .= fgets($fp);
 $line--;
}
fclose($fp);
echo $data
&#63;>

전체 코드 실행 시간은 0.0095(s)입니다

방법 2
파일 끝부터 읽으려면 여전히 fseek를 사용하지만 이번에는 비트 단위로 읽는 것이 아니라 데이터 조각을 읽을 때마다 읽은 데이터가 buf에 배치된 후 전달됩니다. 개행 문자(＼n)의 수는 데이터의 마지막 $num 행을 읽었는지 여부를 결정하는 데 사용됩니다.
구현 코드는 다음과 같습니다

<&#63;php
$fp = fopen($file, "r");
$num = 10;
$chunk = 4096;
$fs = sprintf("%u", filesize($file));
$max = (intval($fs) == PHP_INT_MAX) &#63; PHP_INT_MAX : filesize($file);
for ($len = 0; $len < $max; $len += $chunk)
{
 $seekSize = ($max - $len > $chunk) &#63; $chunk : $max - $len;
 fseek($fp, ($len + $seekSize) * -1, SEEK_END);
 $readData = fread($fp, $seekSize) . $readData;
 if (substr_count($readData, "＼n") >= $num + 1)
 {
 preg_match("!(.*&#63;＼n){" . ($num) . "}$!", $readData, $match);
 $data = $match[0];
 break;
 }
}
fclose($fp);
echo $data;
&#63;>

전체 코드 실행에는 0.0009(s)가 소요됩니다.

방법 3

<&#63;php
function tail($fp, $n, $base = 5)
{
 assert($n > 0);
 $pos = $n + 1;
 $lines = array();
 while (count($lines) <= $n)
 {
 try
 {
  fseek($fp, -$pos, SEEK_END);
 }
 catch (Exception $e)
 {
  fseek(0);
  break;
 }
 $pos *= $base;
 while (!feof($fp))
 {
  array_unshift($lines, fgets($fp));
 }
 }
 return array_slice($lines, 0, $n);
}
var_dump(tail(fopen("access.log", "r+"), 10));
&#63;>

전체 코드 실행 시간은 0.0003(s)입니다

방법 4, PHP의 stream_get_line 함수는 500,000개의 데이터가 포함된 대용량 파일을 읽는 데 약 20초 정도 걸립니다! 예시코드는 다음과 같습니다

$fp = fopen('./iis.log', 'r'); //文件 
while (!feof($fp)) { 
 //for($j=1;$j<=1000;$j++) {     //读取下面的1000行并存储到数组中 
 $logarray[] = stream_get_line($fp, 65535, "＼n"); 
    // break;
 // } 
 
 }

위는 PHP에서 대용량 파일을 읽는 네 가지 방법입니다. 모든 분들의 학습에 도움이 되기를 바랍니다.