目录
如何解析300M+的XML文件?
Jun 06, 2016 pm 08:35 PM
php
xml
背景:
1、手上有几个大的xml文件,基本都在300M至600M之间;
2、XML内容包括title,co-author,abstract,Affiliation等;
3、用的是xmlreader进行解析;
遇到的问题:
如果解析所有内容,经常只能把XML文件的一部分解析出来,似乎是内存不够的迹象;
如果只把title或Affiliation单独解析出来,就能全部解析XML文件;
附上代码:
<code>set_time_limit(0); header("Content-Type: text/html;charset=utf-8"); $num=0; $reader = new XMLReader(); $reader->open("JACS.xml"); while ($reader->read()) { if($reader->nodeType==XMLREADER::ELEMENT) { if ($reader->localName == "PubmedArticle") { $num++; echo 'Number:'.$num; while ($reader->read()) { if ($reader->nodeType == XMLREADER::ELEMENT) { if ($reader->localName == "PubDate") { while ($reader->read()){ if ($reader->nodeType == XMLREADER::ELEMENT) { if ($reader->localName == "Year") { $reader->read(); echo 'PublicationDate:'.$reader->value.' '; break; } } } while ($reader->read()){ if ($reader->nodeType == XMLREADER::ELEMENT) { if ($reader->localName == "Month") { $reader->read(); echo $reader->value.' '; break; } } } while ($reader->read()){ if ($reader->nodeType == XMLREADER::ELEMENT) { if ($reader->localName == "Day") { $reader->read(); echo $reader->value; break; } } } echo '<br>'; break; } } } while ($reader->read()) { if ($reader->nodeType == XMLREADER::ELEMENT) { if ($reader->localName == "Title") { $reader->read(); echo 'JournalName:'.$reader->value.'<br>'; break; } } } while ($reader->read()) { if ($reader->nodeType == XMLREADER::ELEMENT) { if ($reader->localName == "ArticleTitle") { $reader->read(); echo 'ArticleTitle:'.$reader->value.'<br>'; break; } } } while ($reader->read()) { if ($reader->nodeType == XMLREADER::ELEMENT) { if ($reader->localName == "AbstractText") { $reader->read(); echo 'Abstract:'.$reader->value.'<br><br>'; break; } } } while ($reader->read()) { if ($reader->nodeType == XMLREADER::ELEMENT) { if ($reader->localName == "Affiliation") { $reader->read(); echo 'Affiliation:'.$reader->value.'<br><br>'; break; } } } } } } $reader->close(); } </code>
登录后复制
登录后复制
回复内容:
背景:
1、手上有几个大的xml文件,基本都在300M至600M之间;
2、XML内容包括title,co-author,abstract,Affiliation等;
3、用的是xmlreader进行解析;
遇到的问题:
如果解析所有内容,经常只能把XML文件的一部分解析出来,似乎是内存不够的迹象;
如果只把title或Affiliation单独解析出来,就能全部解析XML文件;
附上代码:
<code>set_time_limit(0); header("Content-Type: text/html;charset=utf-8"); $num=0; $reader = new XMLReader(); $reader->open("JACS.xml"); while ($reader->read()) { if($reader->nodeType==XMLREADER::ELEMENT) { if ($reader->localName == "PubmedArticle") { $num++; echo 'Number:'.$num; while ($reader->read()) { if ($reader->nodeType == XMLREADER::ELEMENT) { if ($reader->localName == "PubDate") { while ($reader->read()){ if ($reader->nodeType == XMLREADER::ELEMENT) { if ($reader->localName == "Year") { $reader->read(); echo 'PublicationDate:'.$reader->value.' '; break; } } } while ($reader->read()){ if ($reader->nodeType == XMLREADER::ELEMENT) { if ($reader->localName == "Month") { $reader->read(); echo $reader->value.' '; break; } } } while ($reader->read()){ if ($reader->nodeType == XMLREADER::ELEMENT) { if ($reader->localName == "Day") { $reader->read(); echo $reader->value; break; } } } echo '<br>'; break; } } } while ($reader->read()) { if ($reader->nodeType == XMLREADER::ELEMENT) { if ($reader->localName == "Title") { $reader->read(); echo 'JournalName:'.$reader->value.'<br>'; break; } } } while ($reader->read()) { if ($reader->nodeType == XMLREADER::ELEMENT) { if ($reader->localName == "ArticleTitle") { $reader->read(); echo 'ArticleTitle:'.$reader->value.'<br>'; break; } } } while ($reader->read()) { if ($reader->nodeType == XMLREADER::ELEMENT) { if ($reader->localName == "AbstractText") { $reader->read(); echo 'Abstract:'.$reader->value.'<br><br>'; break; } } } while ($reader->read()) { if ($reader->nodeType == XMLREADER::ELEMENT) { if ($reader->localName == "Affiliation") { $reader->read(); echo 'Affiliation:'.$reader->value.'<br><br>'; break; } } } } } } $reader->close(); } </code>
登录后复制
登录后复制
可以参考一下 这个 PHP处理比较大的XML文件
为啥要装那么大 txt打开那么大也死机了 多分几个文件吧
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门文章
击败分裂小说需要多长时间?
3 周前
By DDD
仓库:如何复兴队友
3 周前
By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒险:如何获得巨型种子
3 周前
By 尊渡假赌尊渡假赌尊渡假赌
公众号网页更新缓存难题:如何避免版本更新后旧缓存影响用户体验?
3 周前
By 王林
两个点博物馆:所有展览以及在哪里可以找到它们
3 周前
By 尊渡假赌尊渡假赌尊渡假赌

热门文章
击败分裂小说需要多长时间?
3 周前
By DDD
仓库:如何复兴队友
3 周前
By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒险:如何获得巨型种子
3 周前
By 尊渡假赌尊渡假赌尊渡假赌
公众号网页更新缓存难题:如何避免版本更新后旧缓存影响用户体验?
3 周前
By 王林
两个点博物馆:所有展览以及在哪里可以找到它们
3 周前
By 尊渡假赌尊渡假赌尊渡假赌

热门文章标签

记事本++7.3.1
好用且免费的代码编辑器

SublimeText3汉化版
中文版,非常好用

禅工作室 13.0.1
功能强大的PHP集成开发环境

Dreamweaver CS6
视觉化网页开发工具

SublimeText3 Mac版
神级代码编辑软件(SublimeText3)

适用于 Ubuntu 和 Debian 的 PHP 8.4 安装和升级指南

如何设置 Visual Studio Code (VS Code) 进行 PHP 开发
