如何在Python中散列大文件而不消耗内存？

在 Python 中计算大文件的 MD5 哈希值

Python 的 hashlib 模块提供了一个用于计算加密哈希值的便捷接口。然而，对于超出系统内存的超大文件，直接使用 hashlib 可能会出现问题。

解决方案：渐进式哈希

为了解决这个问题，我们采用渐进式哈希通过以可管理的块读取文件。这种方法可确保对整个文件内容进行哈希处理，而不会消耗过多的内存。以下是实现此技术的示例 Python 函数：

<code class="python">import hashlib

def md5_for_file(f):
    block_size = 2**20
    md5 = hashlib.md5()
    while True:
        data = f.read(block_size)
        if not data:
            break
        md5.update(data)
    return md5.digest()</code>

要计算大文件的 MD5 哈希值，您可以按如下方式调用该函数：

<code class="python">with open("filename", "rb") as f:
    md5 = md5_for_file(f)</code>

注意在文件模式下

确保使用“rb”以二进制模式打开文件以获得准确的结果。使用“r”可能会导致计算错误。

其他注意事项

为了方便起见，下面介绍了该函数的改进版本：

<code class="python">import hashlib
import os

def generate_file_md5(rootdir, filename):
    m = hashlib.md5()
    with open(os.path.join(rootdir, filename), "rb") as f:
        buf = f.read()
        while buf:
            m.update(buf)
            buf = f.read()
    return m.hexdigest()</code>

建议使用 jacksum 等外部工具交叉检查计算出的哈希值以验证准确性。

以上是如何在Python中散列大文件而不消耗内存？的详细内容。更多信息请关注PHP中文网其他相关文章！