使用块在 Python 中高效迭代迭代器
处理大型数据集时，有必要以较小的批次或块处理数据。这有助于管理内存使用并提高性能。实现此目的的一种方法是使用 Python 的迭代器将数据分割成所需大小的块。
石斑鱼配方
在 itertools 文档中，grouper() Recipe 提供了一种将数据分组为固定长度块的便捷方法。但是，它可能无法根据需要处理不完整的块。
批处理配方
itertools 配方的最新添加是 batched() 函数。它擅长将数据批处理为指定长度的元组。与 grouper() 不同，batched() 显式处理不完整的块，返回较短的批次，没有异常或填充值。
特定于序列的解决方案
如果您正在工作仅使用序列，您可以使用更简单的方法：
(my_list[i:i + chunk_size] for i in range(0, len(my_list), chunk_size))
此解决方案保留了原始序列的类型和优雅地处理最后一个块。
Python 3.12 和 itertools.batched
在 Python 3.12 及更高版本中，可以直接使用 itertools.batched。它提供与 batched() 方法相同的功能：
itertools.batched(iterable, n) # Batch data into tuples of length n
结论
选择合适的方法取决于您的具体需求和您所使用的 Python 版本使用。对于一般和灵活的批处理，建议使用batched()方法或Python 3.12的itertools.batched。对于特定于序列的任务，基于序列的解决方案提供了简单性和类型保留。
以上是如何在 Python 中使用块高效地迭代大型数据集？的详细内容。更多信息请关注PHP中文网其他相关文章！
