Wie verarbeitet man Gigabyte-große Dateien Zeile für Zeile, ohne dass der Speicher knapp wird?

So lesen Sie eine riesige Datei Zeile für Zeile, ohne den Speicher zu überlasten

Das Lesen langer Dateien Zeile für Zeile kann eine Herausforderung sein, insbesondere wenn die Dateigröße den Speicher Ihres Systems übersteigt Kapazität. In solchen Szenarien führt der Versuch, die gesamte Datei mit Standardmethoden in den Speicher zu laden, oft zu Fehlern wegen unzureichendem Speicher.

Beachten Sie den folgenden Codeausschnitt:

with open('inputfile.txt', 'r') as f:
    for line in f:
        # Process the line

Wenn Sie diesen Code auf einem ausführen Bei einer großen Datei wird die gesamte Datei in den Speicher geladen, was zu Problemen führen kann, wenn die Datei im Gigabyte-Bereich liegt.

Um dieses Problem zu vermeiden, sollten Sie die Verwendung von in Betracht ziehen Funktion fgets(), mit der Sie die Datei Zeile für Zeile lesen können, ohne die gesamte Datei in den Speicher zu laden:

with open('inputfile.txt', 'r') as f:
    while True:
        line = fgets(f)
        if not line: break
        # Process the line

Dieser Ansatz liest die Datei Zeile für Zeile und gibt Speicher frei, sobald jede Zeile verarbeitet ist. Vermeidung von Speichermangelfehlern.

Das obige ist der detaillierte Inhalt vonWie verarbeitet man Gigabyte-große Dateien Zeile für Zeile, ohne dass der Speicher knapp wird?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!