如何有效地计算千兆字节文本数据的行数?

Linda Hamilton
发布: 2024-11-01 14:43:02
原创
210 人浏览过

How Can You Efficiently Count Lines in Gigabytes of Text Data?

优化大型文本文件(多 GB)中的行计数

对于超过 200 MB 的文本文件,使用 count(file($path)) 计算行可能会遇到内存限制。这是一个更有效的解决方案:

<code class="php">$file = "largefile.txt";
$linecount = 0;

$handle = fopen($file, "r");

while (!feof($handle)) {
  fgets($handle);
  $linecount++;
}

fclose($handle);

echo $linecount;</code>
登录后复制

此方法一次将一行加载到内存中,避免了将整个文件存储在内存中的需要。

如果您的文件可能包含大量内容,长行,您可以使用此替代方法来计算换行符:

<code class="php">$linecount = 0;

$handle = fopen($file, "r");

while (!feof($handle)) {
  $line = fgets($handle, 4096);
  $linecount += substr_count($line, PHP_EOL);
}

fclose($handle);</code>
登录后复制

通过对文件进行分块并计算换行符,即使行特别长,您也可以减轻内存问题。

以上是如何有效地计算千兆字节文本数据的行数?的详细内容。更多信息请关注PHP中文网其他相关文章!

来源:php.cn
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
作者最新文章
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责声明 Sitemap
PHP中文网:公益在线PHP培训,帮助PHP学习者快速成长!