Pandas DataFrame でデカルト積 (CROSS JOIN) を効率的に実行するにはどうすればよいですか?

Pandas を使用したパフォーマンス デカルト積 (CROSS JOIN)

データ操作の領域では、デカルト積 (CROSS JOIN) は、2 つまたは1 対 1 または多対多ベースでさらに多くの DataFrame を作成します。この操作は、入力 DataFrame の要素の考えられるすべての組み合わせに対して新しい行を作成することによって、元のデータセットを拡張します。

問題ステートメント

一意のインデックスを持つ 2 つの DataFrame が指定されているとします:

left = pd.DataFrame({'col1': ['A', 'B', 'C'], 'col2': [1, 2, 3]})
right = pd.DataFrame({'col1': ['X', 'Y', 'Z'], 'col2': [20, 30, 50]})

目標は、これらの DataFrame のデカルト積を計算するための最も効率的な方法を見つけることです。その結果、次のようになります。出力:

  col1_x  col2_x col1_y  col2_y
0      A       1      X      20
1      A       1      Y      30
2      A       1      Z      50
3      B       2      X      20
4      B       2      Y      30
5      B       2      Z      50
6      C       3      X      20
7      C       3      Y      30
8      C       3      Z      50

最適な解決策

方法 1: 一時的なキー列

1 つのアプローチは、「キー」列に一時的に両方の DataFrame に共通の値:

left.assign(key=1).merge(right.assign(key=1), on='key').drop('key', 1)

このメソッドはマージを使用して"key" 列での多対多の JOIN。

方法 2: NumPy デカルト積

より大きな DataFrame の場合、パフォーマンスの高いソリューションは、NumPy のデカルト積を利用することです。実装:

def cartesian_product(*arrays):
    la = len(arrays)
    dtype = np.result_type(*arrays)
    arr = np.empty([len(a) for a in arrays] + [la], dtype=dtype)
    for i, a in enumerate(np.ix_(*arrays)):
        arr[...,i] = a
    return arr.reshape(-1, la)  

この関数は、要素の可能なすべての組み合わせを生成します。入力配列。

方法 3: 一般化された CROSS JOIN

一般化されたソリューションは、一意でないインデックスまたは混合インデックスを持つ DataFrame で機能します:

def cartesian_product_generalized(left, right):
    la, lb = len(left), len(right)
    idx = cartesian_product(np.ogrid[:la], np.ogrid[:lb])
    return pd.DataFrame(
        np.column_stack([left.values[idx[:,0]], right.values[idx[:,1]]]))

このメソッドは、データフレームのデカルト積に基づいてデータフレームのインデックスを再作成します。 indices.

拡張ソリューション

方法 4: 単純化された CROSS JOIN

混合されていない dtype を持つ 2 つの DataFrame では、さらに単純化されたソリューションが可能です。

def cartesian_product_simplified(left, right):
    la, lb = len(left), len(right)
    ia2, ib2 = np.broadcast_arrays(*np.ogrid[:la,:lb])

    return pd.DataFrame(
        np.column_stack([left.values[ia2.ravel()], right.values[ib2.ravel()]]))

この方法ではブロードキャストとNumPy の ogrid は、DataFrame のインデックスのデカルト積を生成します。

パフォーマンスの比較

これらのソリューションのパフォーマンスは、データセットのサイズと複雑さによって異なります。次のベンチマークは、実行時間の相対比較を示しています。

# ... (Benchmarking code not included here)

結果は、NumPy ベースの cartesian_product メソッドが、ほとんどの場合、特に DataFrame のサイズが増加する場合に他のソリューションよりも優れていることを示しています。

結論

ここで紹介した手法を活用することで、データ アナリストは DataFrame 上でデカルト積を効率的に実行できます。データの操作と拡張のための基本的な操作。これらの方法により、大規模または複雑なデータセットでも最適なパフォーマンスが得られ、効率的なデータ探索と分析が可能になります。

以上がPandas DataFrame でデカルト積 (CROSS JOIN) を効率的に実行するにはどうすればよいですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。