如何处理 Pandas 的 Dtype 警告：Low_Memory 和 Dtype 选项？

使用 Low_Memory 和 Dtype 选项解决 Pandas 的 Dtype 警告

使用 pd.read_csv('somefile.csv') 使用 Pandas 加载 CSV 文件时，您可能会遇到警告：

DtypeWarning: Columns (4,5,7,16) have mixed types. Specify dtype option on import or set low_memory=False.

Low_Memory：已弃用的概念

low_memory 选项已过时，没有功能影响。其目的是通过防止类型推断来减少文件解析期间的内存使用。然而，它现在没有什么不同。

为什么 Low_Memory=False 可能有帮助？

出现警告是因为猜测每列的数据类型是资源密集型的。 Pandas 通过分析整个文件来确定数据类型。如果没有显式定义数据类型，则在读取完整文件之前无法开始解析。

为什么定义数据类型至关重要

指定数据类型（例如 dtype={'user_id': int}）通知 Pandas关于预期的数据类型，使其能够立即开始解析。

pd.read_csv('somefile.csv', dtype={'user_id': int})

定义数据类型可以避免遇到无效数据类型（例如整数列中的“foobar”）时出现错误。

了解 Pandas 数据类型

Pandas 支持各种数据类型，包括：

• Numpy 数据类型：float、int、bool、timedelta64[ns]、datetime64[ns]

• Pandas 特定：

  • datetime64[ns,
  ]：时区感知时间戳
  • 类别：用整数表示的枚举
  • period[] ：时间段
  • Sparse[int]、Sparse[float]：缺失值的数据
  • 间隔：索引
  • 可空整数：Int8、Int16、Int32、Int64、UInt8 , UInt16, UInt32, UInt64
  • 字符串：访问 .str 属性
  • 布尔值：支持缺失数据

注意事项

• 设置 dtype=object 会抑制警告，但不会提高内存效率。
• 设置 dtype=unicode 无效，因为 Numpy 将 unicode 表示为对象。

替代方案：使用转换器

使用转换器来处理潜在的无效数据（例如，整数列中的“foobar”）。然而，转换器速度慢且效率低，因此请谨慎使用。

以上是如何处理 Pandas 的 Dtype 警告：Low_Memory 和 Dtype 选项？的详细内容。更多信息请关注PHP中文网其他相关文章！