如何在 Python 中高效檢索檔案的最後 N 行（支援偏移量）？

取得檔案的最後N 行，類似Tail

簡介

日誌檔案分析通常涉及以下功能：檢視最近的條目。這通常是使用“tail”命令來實現的，該命令會檢索檔案的最後 n 行。在本文中，我們將探索模擬 tail 命令的 Python 方法的實現，並支援偏移量。

Tail 實作

建議的tail() 方法操作如下：

1. 從底部讀取n 行
2. 它提供了一個偏移參數，可以從底部跳過指定數量的行。

def tail(f, n, offset=0):
    """Reads a n lines from f with an offset of offset lines."""
    avg_line_length = 74
    to_read = n + offset
    while 1:
        try:
            f.seek(-(avg_line_length * to_read), 2)
        except IOError:
            f.seek(0)
        pos = f.tell()
        lines = f.read().splitlines()
        if len(lines) >= to_read or pos == 0:
            return lines[-to_read:offset and -offset or None]
        avg_line_length *= 1.3

此方法估計平均行長度並動態調整它以優化性能.

替代方法

原始實現做出了以下假設行長度，這可能並不總是正確。這是避免此類假設的另一種方法：

def tail(f, lines=20):
    total_lines_wanted = lines

    BLOCK_SIZE = 1024
    f.seek(0, 2)
    block_end_byte = f.tell()
    lines_to_go = total_lines_wanted
    block_number = -1
    blocks = [] 
    while lines_to_go > 0 and block_end_byte > 0:
        if (block_end_byte - BLOCK_SIZE > 0):
            f.seek(block_number*BLOCK_SIZE, 2)
            blocks.append(f.read(BLOCK_SIZE))
        else:
            f.seek(0,0)
            blocks.append(f.read(block_end_byte))
        lines_found = blocks[-1].count('\n')
        lines_to_go -= lines_found
        block_end_byte -= BLOCK_SIZE
        block_number -= 1
    all_read_text = ''.join(reversed(blocks))
    return '\n'.join(all_read_text.splitlines()[-total_lines_wanted:])

此方法一次一個區塊地向後尋找文件，計算換行符以找到所需的行。

結論

這兩種方法都提供了可行的解決方案，用於檢索具有偏移量支持的文件的最後 n 行。另一種方法避免了對行長度的假設，並且對於大檔案可能更有效。

以上是如何在 Python 中高效檢索檔案的最後 N 行（支援偏移量）？的詳細內容。更多資訊請關注PHP中文網其他相關文章！