Python如何有效率地讀取檔案的最後N行？

取得檔案的最後n 行，類似Tail

尋求讀取檔案的最後n 行是常見的需求，讓人想起tail -n類Unix系統中的命令。為了實現這一目標，我們需要找到一種可以提供此功能的有效方法。

尾部實現的提案

一種建議的方法涉及估計平均線長度並逐漸增加它直到足夠的長度讀取的行數。這種方法雖然合理，但依賴於估計行長度，並且在某些情況下可能表現較差。

替代方法

更強大的替代方法涉及以區塊的形式迭代檔案。可以調整區塊大小以獲得最佳效能，並且該方法不依賴任何有關線路長度的假設。它繼續讀取區塊，直到獲得所需的行總數。此技術可確保不同檔案大小和行長度的一致且可靠的效能。

最佳化注意事項

使用這種基於區塊的方法時，重要的是要考慮檔案大小與系統的關聯式作業系統 (OS) 區塊大小。如果檔案小於單一作業系統區塊，該方法可能會導致冗餘讀取和較低的效能。在這種情況下，將區塊大小與作業系統區塊大小對齊可以帶來改進。然而，對於大文件，這種優化可能不會產生重大影響。

Python 實作

建議的替代方法可以在Python 中實現，如下所示：

def tail(f, lines=20):
    """Reads the last n lines from a file."""
    BLOCK_SIZE = 1024
    f.seek(0, 2)
    block_end_byte = f.tell()
    lines_to_go = lines
    block_number = -1
    blocks = []
    while lines_to_go > 0 and block_end_byte > 0:
        if (block_end_byte - BLOCK_SIZE > 0):
            f.seek(block_number*BLOCK_SIZE, 2)
            blocks.append(f.read(BLOCK_SIZE))
        else:
            f.seek(0, 0)
            blocks.append(f.read(block_end_byte))
        lines_found = blocks[-1].count(b'\n')  # Edit for Python 3.2 and up
        lines_to_go -= lines_found
        block_end_byte -= BLOCK_SIZE
        block_number -= 1
    all_read_text = b''.join(reversed(blocks))  # Edit for Python 3.2 and up
    return b'\n'.join(all_read_text.splitlines()[-lines:])  # Edit for Python 3.2 and up

此實作允許指定要讀取的行數，使其成為靈活且通用的解決方案。它優先考慮穩健性和效能，避免對行長度或檔案大小的假設。

以上是Python如何有效率地讀取檔案的最後N行？的詳細內容。更多資訊請關注PHP中文網其他相關文章！