Comment puis-je lire efficacement un fichier volumineux dans l'ordre inverse à l'aide de Python ?

Lecture d'un fichier dans l'ordre inverse en Python

Si vous travaillez avec un fichier volumineux et que vous devez lire son contenu à partir du dernier ligne à la première, les fonctions intégrées de Python peuvent ne pas convenir. Voici une solution efficace pour aborder cette tâche :

Générateur de lecteur de ligne inversée

Le code suivant définit une fonction génératrice, reverse_readline, qui renvoie les lignes d'un fichier en sens inverse commande. Il utilise une approche basée sur des tampons pour optimiser les performances et gérer efficacement les fichiers volumineux :

import os

def reverse_readline(filename, buf_size=8192):
    """A generator that returns the lines of a file in reverse order"""
    with open(filename, 'rb') as fh:
        segment = None
        offset = 0
        fh.seek(0, os.SEEK_END)
        file_size = remaining_size = fh.tell()
        while remaining_size > 0:
            offset = min(file_size, offset + buf_size)
            fh.seek(file_size - offset)
            buffer = fh.read(min(remaining_size, buf_size))
            # remove file's last "\n" if it exists, only for the first buffer
            if remaining_size == file_size and buffer[-1] == ord('\n'):
                buffer = buffer[:-1]
            remaining_size -= buf_size
            lines = buffer.split('\n'.encode())
            # append last chunk's segment to this chunk's last line
            if segment is not None:
                lines[-1] += segment
            segment = lines[0]
            lines = lines[1:]
            # yield lines in this chunk except the segment
            for line in reversed(lines):
                # only decode on a parsed line, to avoid utf-8 decode error
                yield line.decode()
        # Don't yield None if the file was empty
        if segment is not None:
            yield segment.decode()

Utilisation :

Pour utiliser ce générateur, vous pouvez simplement le parcourir dans une boucle for :

for line in reverse_readline('myfile.txt'):
    print(line)

Cela imprimera les lignes du fichier dans l'ordre inverse.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!