迭代創建和填充 Pandas DataFrame 的最有效方法是什麼？

建立一個空的 Pandas DataFrame 進行迭代填充

建立一個空的 Pandas DataFrame 並迭代填充它是資料操作中的常見任務。然而，理想的方法可能不會立即顯現出來。

逐行 DataFrame 增長的陷阱

您提供的程式碼片段是建立空 DataFrame 並迭代填充它的一種方法。然而，這種方法效率低下，並且可能會導致與記憶體相關的問題。原因是您要為每次迭代建立一個新行，這需要重新分配記憶體。隨著 DataFrame 的成長，這個過程變得越來越繁瑣。

首選方法：在列表中累積數據

首選方法是在列表中累積數據，然後使用一步創建 DataFrame pd.DataFrame() 函數。這種方法明顯更有效且更節省記憶體。它的運作原理如下：

列表累積的優點

1. 計算效率：追加到列表比追加到DataFrame 快得多，尤其是對於大型資料集。
2. 記憶體效率： 與 DataFrame 相比，清單佔用的記憶體較少。
3. 自動資料類型推斷： pd.DataFrame 自動推斷每列的資料類型，省去手動分配類型的麻煩。
4. 自動索引建立：從建立 DataFrame 時清單中，pandas 會自動指派 RangeIndex 作為行索引，而無需手動索引管理。

要避免的替代方案

1. 在循環內追加或連接：由於每個方法都需要不斷地重新分配內存，因此該方法效率非常低
2. 循環內的loc：與循環內的append或concat類似，每次迭代使用df. loc[len(df)]會導致記憶體開銷。
3. 空的NaN DataFrame： 建立一個充滿NaN 的空DataFrame 也會導致物件資料類型，這可能會阻礙pandas

結論

處理大型資料集時，建議將資料累積到清單中並一步建立DataFrame。它計算效率高、記憶體友好，並且簡化了資料操作過程。

以上是迭代創建和填充 Pandas DataFrame 的最有效方法是什麼？的詳細內容。更多資訊請關注PHP中文網其他相關文章！