기가바이트 단위의 텍스트 데이터 행을 어떻게 효율적으로 계산할 수 있습니까?

Linda Hamilton
풀어 주다: 2024-11-01 14:43:02
원래의
210명이 탐색했습니다.

How Can You Efficiently Count Lines in Gigabytes of Text Data?

큰 텍스트 파일(수 GB)에서 줄 계산 최적화

200MB를 초과하는 텍스트 파일의 경우 count(file($path))를 사용하여 줄 계산을 수행할 때 발생할 수 있는 문제 메모리 제한. 더 효율적인 솔루션은 다음과 같습니다.

<code class="php">$file = "largefile.txt";
$linecount = 0;

$handle = fopen($file, "r");

while (!feof($handle)) {
  fgets($handle);
  $linecount++;
}

fclose($handle);

echo $linecount;</code>
로그인 후 복사

이 접근 방식은 한 번에 한 줄씩 메모리에 로드하므로 전체 파일을 메모리에 저장할 필요가 없습니다.

파일에 줄 바꿈을 계산하는 대신 이 대체 방법을 사용할 수 있습니다.

<code class="php">$linecount = 0;

$handle = fopen($file, "r");

while (!feof($handle)) {
  $line = fgets($handle, 4096);
  $linecount += substr_count($line, PHP_EOL);
}

fclose($handle);</code>
로그인 후 복사

파일을 청크하고 줄 바꿈을 계산하면 유난히 긴 줄에서도 메모리 문제를 완화할 수 있습니다.

위 내용은 기가바이트 단위의 텍스트 데이터 행을 어떻게 효율적으로 계산할 수 있습니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

원천:php.cn
본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.
저자별 최신 기사
인기 튜토리얼
더>
최신 다운로드
더>
웹 효과
웹사이트 소스 코드
웹사이트 자료
프론트엔드 템플릿
회사 소개 부인 성명 Sitemap
PHP 중국어 웹사이트:공공복지 온라인 PHP 교육,PHP 학습자의 빠른 성장을 도와주세요!