如何使用布尔索引有效过滤 Pandas 数据对象？

使用布尔索引对 Pandas 数据帧和系列进行高效过滤

在数据分析场景中，应用多个过滤器来缩小结果范围通常至关重要。本文旨在提出一种有效的方法来链接 Pandas 数据对象上的多个比较操作。

挑战

目标是处理关系运算符字典并将它们附加地应用于给定的 Pandas Series 或 DataFrame，生成过滤后的数据集。此操作需要最大限度地减少不必要的数据复制，尤其是在处理大型数据集时。

解决方案：布尔索引

Pandas 提供了一种使用布尔索引过滤数据的高效机制。布尔索引涉及创建逻辑条件，然后使用这些条件对数据建立索引。考虑以下示例：

<code class="python">df.loc[df['col1'] >= 1, 'col1']</code>

这行代码选择 DataFrame df 中“col1”列中的值大于或等于 1 的所有行。结果是一个新的 Series 对象，其中包含过滤后的值。

要应用多个过滤器，我们可以使用逻辑运算符（如 &）组合布尔条件。 （和）和| （或者）。例如：

<code class="python">df[(df['col1'] >= 1) & (df['col1'] <= 1)]

此操作过滤 'col1' 大于或等于 1 且小于或等于 1 的行。

辅助函数

为了简化应用多个过滤器的过程，我们可以创建辅助函数：

<code class="python">def b(x, col, op, n): 
    return op(x[col], n)

def f(x, *b):
    return x[(np.logical_and(*b))]

b 函数为给定列和运算符创建布尔条件，而 f 将多个布尔条件应用于 DataFrame 或 Series。

使用示例

要使用这些函数，我们可以提供过滤条件的字典：

<code class="python">filters = {'>=': [1], '<=': [1]}</code>

<code class="python">b1 = b(df, 'col1', ge, 1)
b2 = b(df, 'col1', le, 1)
filtered_df = f(df, b1, b2)</code>

此代码将过滤器应用于“col1”

增强功能

Pandas 0.13 引入了查询方法，它提供了一种使用字符串表达式应用过滤器的便捷方法。对于有效的列标识符，可以使用以下代码：

<code class="python">df.query('col1 <= 1 & 1 <= col1')</code>

此行使用更简洁的语法实现与前面的示例相同的过滤。

通过利用布尔索引和辅助函数，我们可以有效地将多个过滤器应用于 Pandas 数据帧和系列。这种方法可以最大限度地减少数据复制并提高性能，特别是在处理大型数据集时。

以上是如何使用布尔索引有效过滤 Pandas 数据对象？的详细内容。更多信息请关注PHP中文网其他相关文章！