`low_memory=False` 和 `dtype` 如何提高 Pandas `read_csv` 的記憶體效率？

Pandas read_csv：探索low_memory 和dtype 選項

使用read_csv 函數從CSV 檔案載入資料時，您可能會遇到反白顯示混合資料類型的錯誤某些列。此錯誤訊息通常包括指定 dtype 選項或停用 low_memory 參數的建議。

了解 low_memory

與它的名稱相反，low_memory 選項並不會真正影響記憶體使用。相反，其目的是根據資料的初始分析來估計每列的合適資料類型。然而，這種方法由於效率低下而已被棄用。

為什麼 low_memory=False 有幫助

停用 low_memory 會導致 Pandas 延遲猜測資料類型，直到讀取整個檔案。這種延遲減少了與預先分析每列相關的記憶體開銷。透過使用 dtype 參數明確指定資料類型，Pandas 可以為每列分配適當的資料結構來優化記憶體分配，從而提高載入時間和記憶體效率。

指定 dtypes

指定資料型別(dtypes) 對於高效率的資料處理至關重要。透過為每列定義預期的資料類型，Pandas 避免了昂貴的猜測類型過程，這可能會導致不必要的記憶體消耗和處理開銷。

可用的資料類型

Pandas 提供了廣泛的資料類型資料類型，包括：

• 數字類型（float、int、 bool)
• 日期和時間類型(timedelta64[ns], datetime64[ns])
• 專用類型 (category, period[])
• 稀疏類型 (Sparse, Sparse) [int], Sparse[float])
• 區間型索引

注意事項

• 設定dtype=object 會抑制資料型別警告，但不會提高記憶體效率。
• 設定 dtype=unicode 無效，因為 NumPy將 unicode 視為物件。
• 使用轉換器可以防止錯誤遇到無效的資料值，但轉換器的計算成本很高，應謹慎使用。

以上是`low_memory=False` 和 `dtype` 如何提高 Pandas `read_csv` 的記憶體效率？的詳細內容。更多資訊請關注PHP中文網其他相關文章！