如何在Python中計算大檔案的MD5雜湊而沒有記憶體限制？

在Python 中計算大檔案的MD5 雜湊

雖然使用Python 的hashlib 模組計算小檔案的MD5 雜湊很簡單檔案，對於超出可用記憶體的大檔案來說變得不切實際。本文探討了應對這項挑戰的實用解決方案。

為了規避記憶體限制，需要授予 hashlib 存取檔案區塊的權限，而不是一次存取整個檔案。以下 Python 函數以指定大小的區塊讀取檔案並累積部分 MD5 雜湊值。透過為 block_size 參數設定合適的大小（預設值：2^20），它可以有效地管理超出 RAM 限制的檔案大小。

<code class="python">def md5_for_file(f, block_size=2**20):
    md5 = hashlib.md5()
    while True:
        data = f.read(block_size)
        if not data:
            break
        md5.update(data)
    return md5.digest()</code>

為了確保正確的結果，請使用 'rb' 以二進位模式開啟檔案是必不可少的。

為了獲得更全面的方法，輔助函數可以封裝所有必要的步驟：

<code class="python">def generate_file_md5(rootdir, filename, blocksize=2**20):
    m = hashlib.md5()
    with open(os.path.join(rootdir, filename), "rb") as f:
        while True:
            buf = f.read(blocksize)
            if not buf:
                break
            m.update(buf)
    return m.hexdigest()</code>

使用jacksum 等工具交叉檢查結果可確保計算的MD5 雜湊值的準確性.

以上是如何在Python中計算大檔案的MD5雜湊而沒有記憶體限制？的詳細內容。更多資訊請關注PHP中文網其他相關文章！