Comment puis-je lire efficacement un fichier texte volumineux dans l'ordre inverse à l'aide de Python ?

Lecture d'un fichier dans l'ordre inverse à l'aide de Python

Supposons que vous ayez un long fichier texte et que vous souhaitiez lire son contenu de la dernière ligne à la ligne initiale. Comment pouvez-vous y parvenir en Python ?

Réponse :

La fonction de générateur Python suivante lit efficacement un fichier dans l'ordre inverse :

import os

def reverse_readline(filename, buf_size=8192):
    """A generator that returns the lines of a file in reverse order"""
    with open(filename, 'rb') as fh:
        segment = None
        offset = 0
        fh.seek(0, os.SEEK_END)
        file_size = remaining_size = fh.tell()
        while remaining_size > 0:
            offset = min(file_size, offset + buf_size)
            fh.seek(file_size - offset)
            buffer = fh.read(min(remaining_size, buf_size))
            # remove file's last "\n" if it exists, only for the first buffer
            if remaining_size == file_size and buffer[-1] == ord('\n'):
                buffer = buffer[:-1]
            remaining_size -= buf_size
            lines = buffer.split('\n'.encode())
            # append last chunk's segment to this chunk's last line
            if segment is not None:
                lines[-1] += segment
            segment = lines[0]
            lines = lines[1:]
            # yield lines in this chunk except the segment
            for line in reversed(lines):
                # only decode on a parsed line, to avoid utf-8 decode error
                yield line.decode()
        # Don't yield None if the file was empty
        if segment is not None:
            yield segment.decode()

Cette fonction de générateur présente des performances efficaces en matière de mémoire et convient aux fichiers volumineux. Il divise le fichier en morceaux gérables et les traite en arrière ligne par ligne.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!