如何解析300M+的XML文件？
背景：
1、手上有几个大的xml文件，基本都在300M至600M之间；
2、XML内容包括title,co-author,abstract,Affiliation等；
3、用的是xmlreader进行解析；
遇到的问题：
如果解析所有内容，经常只能把XML文件的一部分解析出来，似乎是内存不够的迹象；
如果只把title或Affiliation单独解析出来，就能全部解析XML文件；
附上代码：
<code>set_time_limit(0);
header("Content-Type: text/html;charset=utf-8");
$num=0;
$reader = new XMLReader();
$reader->open("JACS.xml");
while ($reader->read()) {
if($reader->nodeType==XMLREADER::ELEMENT) {
if ($reader->localName == "PubmedArticle") {
$num++;
echo 'Number:'.$num;
while ($reader->read()) {
if ($reader->nodeType == XMLREADER::ELEMENT) {
if ($reader->localName == "PubDate") {
while ($reader->read()){
if ($reader->nodeType == XMLREADER::ELEMENT) {
if ($reader->localName == "Year") {
$reader->read();
echo 'PublicationDate:'.$reader->value.' ';
break;
}
}
}
while ($reader->read()){
if ($reader->nodeType == XMLREADER::ELEMENT) {
if ($reader->localName == "Month") {
$reader->read();
echo $reader->value.' ';
break;
}
}
}
while ($reader->read()){
if ($reader->nodeType == XMLREADER::ELEMENT) {
if ($reader->localName == "Day") {
$reader->read();
echo $reader->value;
break;
}
}
}
echo '<br>';
break;
}
}
}
while ($reader->read()) {
if ($reader->nodeType == XMLREADER::ELEMENT) {
if ($reader->localName == "Title") {
$reader->read();
echo 'JournalName:'.$reader->value.'<br>';
break;
}
}
}
while ($reader->read()) {
if ($reader->nodeType == XMLREADER::ELEMENT) {
if ($reader->localName == "ArticleTitle") {
$reader->read();
echo 'ArticleTitle:'.$reader->value.'<br>';
break;
}
}
}
while ($reader->read()) {
if ($reader->nodeType == XMLREADER::ELEMENT) {
if ($reader->localName == "AbstractText") {
$reader->read();
echo 'Abstract:'.$reader->value.'<br><br>';
break;
}
}
}
while ($reader->read()) {
if ($reader->nodeType == XMLREADER::ELEMENT) {
if ($reader->localName == "Affiliation") {
$reader->read();
echo 'Affiliation:'.$reader->value.'<br><br>';
break;
}
}
}
}
}
}
$reader->close();
}
</code>回复内容：
背景：
1、手上有几个大的xml文件，基本都在300M至600M之间；
2、XML内容包括title,co-author,abstract,Affiliation等；
3、用的是xmlreader进行解析；
遇到的问题：
如果解析所有内容，经常只能把XML文件的一部分解析出来，似乎是内存不够的迹象；
如果只把title或Affiliation单独解析出来，就能全部解析XML文件；
附上代码：
<code>set_time_limit(0);
header("Content-Type: text/html;charset=utf-8");
$num=0;
$reader = new XMLReader();
$reader->open("JACS.xml");
while ($reader->read()) {
if($reader->nodeType==XMLREADER::ELEMENT) {
if ($reader->localName == "PubmedArticle") {
$num++;
echo 'Number:'.$num;
while ($reader->read()) {
if ($reader->nodeType == XMLREADER::ELEMENT) {
if ($reader->localName == "PubDate") {
while ($reader->read()){
if ($reader->nodeType == XMLREADER::ELEMENT) {
if ($reader->localName == "Year") {
$reader->read();
echo 'PublicationDate:'.$reader->value.' ';
break;
}
}
}
while ($reader->read()){
if ($reader->nodeType == XMLREADER::ELEMENT) {
if ($reader->localName == "Month") {
$reader->read();
echo $reader->value.' ';
break;
}
}
}
while ($reader->read()){
if ($reader->nodeType == XMLREADER::ELEMENT) {
if ($reader->localName == "Day") {
$reader->read();
echo $reader->value;
break;
}
}
}
echo '<br>';
break;
}
}
}
while ($reader->read()) {
if ($reader->nodeType == XMLREADER::ELEMENT) {
if ($reader->localName == "Title") {
$reader->read();
echo 'JournalName:'.$reader->value.'<br>';
break;
}
}
}
while ($reader->read()) {
if ($reader->nodeType == XMLREADER::ELEMENT) {
if ($reader->localName == "ArticleTitle") {
$reader->read();
echo 'ArticleTitle:'.$reader->value.'<br>';
break;
}
}
}
while ($reader->read()) {
if ($reader->nodeType == XMLREADER::ELEMENT) {
if ($reader->localName == "AbstractText") {
$reader->read();
echo 'Abstract:'.$reader->value.'<br><br>';
break;
}
}
}
while ($reader->read()) {
if ($reader->nodeType == XMLREADER::ELEMENT) {
if ($reader->localName == "Affiliation") {
$reader->read();
echo 'Affiliation:'.$reader->value.'<br><br>';
break;
}
}
}
}
}
}
$reader->close();
}
</code>
可以参考一下 这个 PHP处理比较大的XML文件
为啥要装那么大 txt打开那么大也死机了 多分几个文件吧
핫 AI 도구
Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱
AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.
Undress AI Tool
무료로 이미지를 벗다
Clothoff.io
AI 옷 제거제
AI Hentai Generator
AI Hentai를 무료로 생성하십시오.
인기 기사
뜨거운 도구
메모장++7.3.1
사용하기 쉬운 무료 코드 편집기
SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.
스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경
드림위버 CS6
시각적 웹 개발 도구
SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)
뜨거운 주제
7467
15
1376
52
77
11
48
19
19
20
Ubuntu 및 Debian용 PHP 8.4 설치 및 업그레이드 가이드
Dec 24, 2024 pm 04:42 PM
PHP 8.4는 상당한 양의 기능 중단 및 제거를 통해 몇 가지 새로운 기능, 보안 개선 및 성능 개선을 제공합니다. 이 가이드에서는 Ubuntu, Debian 또는 해당 파생 제품에서 PHP 8.4를 설치하거나 PHP 8.4로 업그레이드하는 방법을 설명합니다.
CakePHP 토론
Sep 10, 2024 pm 05:28 PM
CakePHP는 PHP용 오픈 소스 프레임워크입니다. 이는 애플리케이션을 훨씬 쉽게 개발, 배포 및 유지 관리할 수 있도록 하기 위한 것입니다. CakePHP는 강력하고 이해하기 쉬운 MVC와 유사한 아키텍처를 기반으로 합니다. 모델, 뷰 및 컨트롤러 gu
PHP 개발을 위해 Visual Studio Code(VS Code)를 설정하는 방법
Dec 20, 2024 am 11:31 AM
VS Code라고도 알려진 Visual Studio Code는 모든 주요 운영 체제에서 사용할 수 있는 무료 소스 코드 편집기 또는 통합 개발 환경(IDE)입니다. 다양한 프로그래밍 언어에 대한 대규모 확장 모음을 통해 VS Code는
CakePHP 빠른 가이드
Sep 10, 2024 pm 05:27 PM
CakePHP는 오픈 소스 MVC 프레임워크입니다. 이를 통해 애플리케이션 개발, 배포 및 유지 관리가 훨씬 쉬워집니다. CakePHP에는 가장 일반적인 작업의 과부하를 줄이기 위한 여러 라이브러리가 있습니다.
PHP에서 HTML/XML을 어떻게 구문 분석하고 처리합니까?
Feb 07, 2025 am 11:57 AM
이 튜토리얼은 PHP를 사용하여 XML 문서를 효율적으로 처리하는 방법을 보여줍니다. XML (Extensible Markup Language)은 인간의 가독성과 기계 구문 분석을 위해 설계된 다목적 텍스트 기반 마크 업 언어입니다. 일반적으로 데이터 저장 AN에 사용됩니다
문자열로 모음을 계산하는 PHP 프로그램
Feb 07, 2025 pm 12:12 PM
문자열은 문자, 숫자 및 기호를 포함하여 일련의 문자입니다. 이 튜토리얼은 다른 방법을 사용하여 PHP의 주어진 문자열의 모음 수를 계산하는 방법을 배웁니다. 영어의 모음은 A, E, I, O, U이며 대문자 또는 소문자 일 수 있습니다. 모음이란 무엇입니까? 모음은 특정 발음을 나타내는 알파벳 문자입니다. 대문자와 소문자를 포함하여 영어에는 5 개의 모음이 있습니다. a, e, i, o, u 예 1 입력 : String = "Tutorialspoint" 출력 : 6 설명하다 문자열의 "Tutorialspoint"의 모음은 u, o, i, a, o, i입니다. 총 6 개의 위안이 있습니다
