使用Python 的itertools 批次迭代器
如果您需要處理較小區塊的數據,則在Python 中迭代大型迭代器可能效率低。當處理記憶體密集型資料集或當您想避免系統過載時,就會出現此問題。
進入 itertools 模組,它提供了一套用於使用迭代器的工具。它鮮為人知但非常有用的功能之一是能夠將迭代器批次成更小的區塊。
itertools.batched()
itertools.batched()函數接受一個迭代器和一個區塊大小作為參數,並傳回一個新的迭代器,該迭代器從原始迭代器產生元素元組,每個元組代表一個
例如:
輸出:
其他選項
而itertools.batched( )是最簡單的解決方案,它可能無法滿足您的所有要求。如果您需要更多控制批次的處理方式,請考慮以下替代方案:
以上是Python 的「itertools」模組如何幫助批量大型迭代器進行高效處理?的詳細內容。更多資訊請關注PHP中文網其他相關文章!