如何在Python中散列大檔案而不消耗記憶體？

在Python 中計算大檔案的MD5 雜湊值

Python 的hashlib 模組提供了一個用於計算加密雜湊值的便捷接口。然而，對於超出系統記憶體的超大文件，直接使用 hashlib 可能會出現問題。

解決方案：漸進式雜湊

為了解決這個問題，我們採用漸進式雜湊來透過以可管理的區塊讀取檔案。這種方法可確保對整個檔案內容進行哈希處理，而不會消耗過多的記憶體。以下是實作此技術的範例Python 函數：

<code class="python">import hashlib

def md5_for_file(f):
    block_size = 2**20
    md5 = hashlib.md5()
    while True:
        data = f.read(block_size)
        if not data:
            break
        md5.update(data)
    return md5.digest()</code>

要計算大檔案的MD5 雜湊值，您可以如下呼叫函數：

<code class="python">with open("filename", "rb") as f:
    md5 = md5_for_file(f)</code>

注意在檔案模式下

確保使用「rb」以二進位模式開啟檔案以獲得準確的結果。使用“r”可能會導致計算錯誤。

其他注意事項

為了方便起見，下面介紹了該函數的改進版本：

<code class="python">import hashlib
import os

def generate_file_md5(rootdir, filename):
    m = hashlib.md5()
    with open(os.path.join(rootdir, filename), "rb") as f:
        buf = f.read()
        while buf:
            m.update(buf)
            buf = f.read()
    return m.hexdigest()</code>

建議使用jacksum 等外部工具交叉檢查計算出的雜湊值以驗證準確性。

以上是如何在Python中散列大檔案而不消耗記憶體？的詳細內容。更多資訊請關注PHP中文網其他相關文章！