Wie kann man eine Zeichenfolge mit 30 Millionen Zeichen manipulieren, ohne dass der Speicher knapp wird?

Manipulation einer 30-Millionen-Zeichen-Zeichenfolge: Vermeidung von Speicherzuweisungsfehlern

Die Verwendung von Curl zum Abrufen eines CSV-Datenfeeds von einem Anbieter stellt eine Herausforderung dar, wenn Manipulation einer so großen Dateigröße. Gängige Ansätze, den Inhalt durch Trennzeichen (z. B. r und n) aufzulösen, führen aufgrund der immensen Größe (ca. 30,5 Millionen Zeichen) zu „Nicht genügend Speicher“-Fehlern. In diesem Artikel werden alternative Lösungen zur Lösung dieses Problems untersucht.

Obwohl es nicht möglich ist, die gesamte Datei im Speicher zu speichern, besteht eine Möglichkeit darin, CURLOPT_FILE zu verwenden, um den Inhalt in eine Datei auf der Festplatte umzuleiten. Dieser Ansatz passt jedoch möglicherweise nicht zum gewünschten Arbeitsablauf, da er die Erstellung einer physischen Datei erfordert.

Eine alternative Lösung besteht darin, einen benutzerdefinierten Stream-Wrapper zu definieren, ihn zu registrieren und ihn anstelle einer echten Datei mit CURLOPT_FILE zu verwenden . Dieser Stream-Wrapper kann so gestaltet werden, dass er Daten beim Eintreffen in Blöcken verarbeitet und so Probleme bei der Speicherzuweisung effizient vermeidet.

Um diesen Ansatz zu veranschaulichen, erstellen wir eine MyStream-Klasse, die die streamWrapper-Klasse erweitert. In der stream_write-Methode können wir die Explosionsfunktion nutzen, um Zeilen aus den eingehenden Datenblöcken zu extrahieren. Da Daten normalerweise in kleineren Blöcken empfangen werden (z. B. 8192 Bytes), können wir diese kleineren Teile bearbeiten, anstatt zu versuchen, die gesamte Datei auf einmal zu manipulieren.

Durch die Registrierung dieses benutzerdefinierten Stream-Wrappers mit einem eindeutigen Protokoll ( B. „test“) und es in der Curl-Konfiguration mit CURLOPT_FILE verwenden, können wir die stream_write-Methode nutzen, um Daten inkrementell zu bearbeiten, sobald sie empfangen werden. Diese Technik ermöglicht die effiziente Bearbeitung großer Zeichenfolgen, ohne dass es zu Speicherzuordnungsfehlern kommt.

Das obige ist der detaillierte Inhalt vonWie kann man eine Zeichenfolge mit 30 Millionen Zeichen manipulieren, ohne dass der Speicher knapp wird?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!