如何使用 Numpy 廣播按 Pandas 中的範圍條件合併資料幀？

在 Pandas 中按範圍條件合併資料幀

在資料分析領域，組合來自多個來源的資料是一項常見任務。 Pandas 是一個強大的資料操作 Python 函式庫，提供了各種合併資料幀的方法，包括範圍條件。本文深入研究了這個特定場景，並提出了使用 numpy 廣播的有效解決方案。

問題描述

給定兩個資料幀A 和B，目標是執行內部聯接，其中資料幀A 中的值落在資料幀B 中定義的特定範圍內。傳統上，這可以使用SQL 語法來實現：

<code class="sql">SELECT *
FROM A, B
WHERE A_value BETWEEN B_low AND B_high</code>

現有解決方案

Pandas 提供了一種使用虛擬列的解決方法，合併虛擬列，然後過濾掉不需要的行。然而，這種方法的計算量很大。或者，可以對 B 上的每個 A 值套用搜尋函數，但這種方法也有缺點。

Numpy 廣播：一種實用方法

Numpy 廣播提供了一種優雅高效的解決方案。該技術利用向量化對整個數組而不是單一元素執行計算。要實現所需的合併：

1. 從資料幀 A 和 B 中提取值。

2. 使用numpy 廣播建立布林遮罩：

   • A_value >= B_low
   • A_value
A_value
3. 使用numpy 的np.where 來定位mask 為True 的索引。

連接根據識別的索引從資料幀 A 和 B 中取得對應的行。

這種方法利用廣播對整個 A 資料幀執行範圍比較，顯著減少計算時間和複雜性。

示例

<code class="python">A = pd.DataFrame(dict(
    A_id=range(10),
    A_value=range(5, 105, 10)
))
B = pd.DataFrame(dict(
    B_id=range(5),
    B_low=[0, 30, 30, 46, 84],
    B_high=[10, 40, 50, 54, 84]
))</code>

考慮以下數據幀：

輸出：

   A_id  A_value  B_high  B_id  B_low
0     0        5      10     0      0
1     3       35      40     1     30
2     3       35      50     2     30
3     4       45      50     2     30

此輸出演示了成功根據指定範圍條件合併資料幀A 和B。

其他注意事項

要執行左連接，請在輸出中包含資料幀 A 中不匹配的行。這可以透過使用 numpy 的 ~np.in1d 來識別不匹配的行並將其附加到結果中來實現。

總之，numpy 廣播提供了一種基於範圍條件合併資料幀的強大且高效的方法。其向量化功能提高了效能，使其成為大型資料集的理想解決方案。

以上是如何使用 Numpy 廣播按 Pandas 中的範圍條件合併資料幀？的詳細內容。更多資訊請關注PHP中文網其他相關文章！