如何解析300M+的XML文件？
背景：
1、手上有几个大的xml文件，基本都在300M至600M之间；
2、XML内容包括title,co-author,abstract,Affiliation等；
3、用的是xmlreader进行解析；
遇到的问题：
如果解析所有内容，经常只能把XML文件的一部分解析出来，似乎是内存不够的迹象；
如果只把title或Affiliation单独解析出来，就能全部解析XML文件；
附上代码：
<code>set_time_limit(0);
header("Content-Type: text/html;charset=utf-8");
$num=0;
$reader = new XMLReader();
$reader->open("JACS.xml");
while ($reader->read()) {
if($reader->nodeType==XMLREADER::ELEMENT) {
if ($reader->localName == "PubmedArticle") {
$num++;
echo 'Number:'.$num;
while ($reader->read()) {
if ($reader->nodeType == XMLREADER::ELEMENT) {
if ($reader->localName == "PubDate") {
while ($reader->read()){
if ($reader->nodeType == XMLREADER::ELEMENT) {
if ($reader->localName == "Year") {
$reader->read();
echo 'PublicationDate:'.$reader->value.' ';
break;
}
}
}
while ($reader->read()){
if ($reader->nodeType == XMLREADER::ELEMENT) {
if ($reader->localName == "Month") {
$reader->read();
echo $reader->value.' ';
break;
}
}
}
while ($reader->read()){
if ($reader->nodeType == XMLREADER::ELEMENT) {
if ($reader->localName == "Day") {
$reader->read();
echo $reader->value;
break;
}
}
}
echo '<br>';
break;
}
}
}
while ($reader->read()) {
if ($reader->nodeType == XMLREADER::ELEMENT) {
if ($reader->localName == "Title") {
$reader->read();
echo 'JournalName:'.$reader->value.'<br>';
break;
}
}
}
while ($reader->read()) {
if ($reader->nodeType == XMLREADER::ELEMENT) {
if ($reader->localName == "ArticleTitle") {
$reader->read();
echo 'ArticleTitle:'.$reader->value.'<br>';
break;
}
}
}
while ($reader->read()) {
if ($reader->nodeType == XMLREADER::ELEMENT) {
if ($reader->localName == "AbstractText") {
$reader->read();
echo 'Abstract:'.$reader->value.'<br><br>';
break;
}
}
}
while ($reader->read()) {
if ($reader->nodeType == XMLREADER::ELEMENT) {
if ($reader->localName == "Affiliation") {
$reader->read();
echo 'Affiliation:'.$reader->value.'<br><br>';
break;
}
}
}
}
}
}
$reader->close();
}
</code>回复内容：
背景：
1、手上有几个大的xml文件，基本都在300M至600M之间；
2、XML内容包括title,co-author,abstract,Affiliation等；
3、用的是xmlreader进行解析；
遇到的问题：
如果解析所有内容，经常只能把XML文件的一部分解析出来，似乎是内存不够的迹象；
如果只把title或Affiliation单独解析出来，就能全部解析XML文件；
附上代码：
<code>set_time_limit(0);
header("Content-Type: text/html;charset=utf-8");
$num=0;
$reader = new XMLReader();
$reader->open("JACS.xml");
while ($reader->read()) {
if($reader->nodeType==XMLREADER::ELEMENT) {
if ($reader->localName == "PubmedArticle") {
$num++;
echo 'Number:'.$num;
while ($reader->read()) {
if ($reader->nodeType == XMLREADER::ELEMENT) {
if ($reader->localName == "PubDate") {
while ($reader->read()){
if ($reader->nodeType == XMLREADER::ELEMENT) {
if ($reader->localName == "Year") {
$reader->read();
echo 'PublicationDate:'.$reader->value.' ';
break;
}
}
}
while ($reader->read()){
if ($reader->nodeType == XMLREADER::ELEMENT) {
if ($reader->localName == "Month") {
$reader->read();
echo $reader->value.' ';
break;
}
}
}
while ($reader->read()){
if ($reader->nodeType == XMLREADER::ELEMENT) {
if ($reader->localName == "Day") {
$reader->read();
echo $reader->value;
break;
}
}
}
echo '<br>';
break;
}
}
}
while ($reader->read()) {
if ($reader->nodeType == XMLREADER::ELEMENT) {
if ($reader->localName == "Title") {
$reader->read();
echo 'JournalName:'.$reader->value.'<br>';
break;
}
}
}
while ($reader->read()) {
if ($reader->nodeType == XMLREADER::ELEMENT) {
if ($reader->localName == "ArticleTitle") {
$reader->read();
echo 'ArticleTitle:'.$reader->value.'<br>';
break;
}
}
}
while ($reader->read()) {
if ($reader->nodeType == XMLREADER::ELEMENT) {
if ($reader->localName == "AbstractText") {
$reader->read();
echo 'Abstract:'.$reader->value.'<br><br>';
break;
}
}
}
while ($reader->read()) {
if ($reader->nodeType == XMLREADER::ELEMENT) {
if ($reader->localName == "Affiliation") {
$reader->read();
echo 'Affiliation:'.$reader->value.'<br><br>';
break;
}
}
}
}
}
}
$reader->close();
}
</code>
可以参考一下 这个 PHP处理比较大的XML文件
为啥要装那么大 txt打开那么大也死机了 多分几个文件吧
Outils d'IA chauds
Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes
AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.
Undress AI Tool
Images de déshabillage gratuites
Clothoff.io
Dissolvant de vêtements AI
AI Hentai Generator
Générez AI Hentai gratuitement.
Article chaud
Outils chauds
Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit
SublimeText3 version chinoise
Version chinoise, très simple à utiliser
Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP
Dreamweaver CS6
Outils de développement Web visuel
SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)
Sujets chauds
1359
52
Guide d'installation et de mise à niveau de PHP 8.4 pour Ubuntu et Debian
Dec 24, 2024 pm 04:42 PM
PHP 8.4 apporte plusieurs nouvelles fonctionnalités, améliorations de sécurité et de performances avec une bonne quantité de dépréciations et de suppressions de fonctionnalités. Ce guide explique comment installer PHP 8.4 ou mettre à niveau vers PHP 8.4 sur Ubuntu, Debian ou leurs dérivés. Bien qu'il soit possible de compiler PHP à partir des sources, son installation à partir d'un référentiel APT comme expliqué ci-dessous est souvent plus rapide et plus sécurisée car ces référentiels fourniront les dernières corrections de bogues et mises à jour de sécurité à l'avenir.
Date et heure de CakePHP
Sep 10, 2024 pm 05:27 PM
Pour travailler avec la date et l'heure dans cakephp4, nous allons utiliser la classe FrozenTime disponible.
CakePHP travaillant avec la base de données
Sep 10, 2024 pm 05:25 PM
Travailler avec la base de données dans CakePHP est très simple. Nous comprendrons les opérations CRUD (Créer, Lire, Mettre à jour, Supprimer) dans ce chapitre.
Téléchargement de fichiers CakePHP
Sep 10, 2024 pm 05:27 PM
Pour travailler sur le téléchargement de fichiers, nous allons utiliser l'assistant de formulaire. Voici un exemple de téléchargement de fichiers.
Discuter de CakePHP
Sep 10, 2024 pm 05:28 PM
CakePHP est un framework open source pour PHP. Il vise à faciliter grandement le développement, le déploiement et la maintenance d'applications. CakePHP est basé sur une architecture de type MVC à la fois puissante et facile à appréhender. Modèles, vues et contrôleurs gu
CakePHP créant des validateurs
Sep 10, 2024 pm 05:26 PM
Le validateur peut être créé en ajoutant les deux lignes suivantes dans le contrôleur.
Journalisation CakePHP
Sep 10, 2024 pm 05:26 PM
Se connecter à CakePHP est une tâche très simple. Il vous suffit d'utiliser une seule fonction. Vous pouvez enregistrer les erreurs, les exceptions, les activités des utilisateurs, les actions entreprises par les utilisateurs, pour tout processus en arrière-plan comme cronjob. La journalisation des données dans CakePHP est facile. La fonction log() est fournie
Comment configurer Visual Studio Code (VS Code) pour le développement PHP
Dec 20, 2024 am 11:31 AM
Visual Studio Code, également connu sous le nom de VS Code, est un éditeur de code source gratuit – ou environnement de développement intégré (IDE) – disponible pour tous les principaux systèmes d'exploitation. Avec une large collection d'extensions pour de nombreux langages de programmation, VS Code peut être c
