Pandas で CROSS JOIN を効率的に実行するにはどうすればよいですか?
Pandas を使用したパフォーマンスクロス結合 (CROSS JOIN)
この投稿では、デカルト積 (CROSS) を実行するための最も効率的な方法を検討します。 Pandas での JOIN) 操作。
ベースライン メソッド:一時キー列
一般的なアプローチでは、一時キー列を両方の DataFrame に割り当て、そのキーに対して多対多結合を実行して、キー列を削除します。
left = pd.DataFrame({'col1' : ['A', 'B', 'C'], 'col2' : [1, 2, 3]}) right = pd.DataFrame({'col1' : ['X', 'Y', 'Z'], 'col2' : [20, 30, 50]}) def cartesian_product_basic(left, right): return ( left.assign(key=1).merge(right.assign(key=1), on='key').drop('key', 1)) cartesian_product_basic(left, right)
NumPy ベースの実装
大規模な環境でのパフォーマンス向上のためデータセットの場合、NumPy のデカルト積の実装を活用します。
import numpy as np def cartesian_product(*arrays): la = len(arrays) dtype = np.result_type(*arrays) arr = np.empty([len(a) for a in arrays] + [la], dtype=dtype) for i, a in enumerate(np.ix_(*arrays)): arr[...,i] = a return arr.reshape(-1, la)
非一意のインデックス付きデータフレームへの一般化
このアプローチを拡張して、非固有のインデックス付きデータフレームを処理できます。個性的インデックス:
def cartesian_product_generalized(left, right): la, lb = len(left), len(right) idx = cartesian_product(np.ogrid[:la], np.ogrid[:lb]) return pd.DataFrame( np.column_stack([left.values[idx[:,0]], right.values[idx[:,1]]]))
2 つの DataFrame の簡略化された実装
2 つの DataFrame のみを扱う場合、np.broadcast_arrays を利用したより単純な手法で同等のパフォーマンスを達成できます。
def cartesian_product_simplified(left, right): la, lb = len(left), len(right) ia2, ib2 = np.broadcast_arrays(*np.ogrid[:la,:lb]) return pd.DataFrame( np.column_stack([left.values[ia2.ravel()], right.values[ib2.ravel()]]))
パフォーマンス比較
これらのメソッドのベンチマークを行うと、NumPy ベースの実装が、特に大規模なデータセットに対して最速のパフォーマンスを提供することがわかります。
[パフォーマンス比較チャートの画像]
さらに読む
さらに詳しく読むにはPandas のマージ操作については、次のトピックを参照してください:
- [マージの基本](https://pbpython.com/pandas-merging-101-cheat-sheet.html)
- [インデックスベース結合](https://pbpython.com/pandas-merging-101-join-indexes.html)
- [複数の DataFrame への一般化](https://pbpython.com/pandas-merging-on- multiple-dataframes.html)
以上がPandas で CROSS JOIN を効率的に実行するにはどうすればよいですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

Video Face Swap
完全無料の AI 顔交換ツールを使用して、あらゆるビデオの顔を簡単に交換できます。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック











fiddlereveryversings for the-middleの測定値を使用するときに検出されないようにする方法

10時間以内にコンピューター初心者プログラミングの基本を教える方法は?コンピューター初心者にプログラミングの知識を教えるのに10時間しかない場合、何を教えることを選びますか...

Pythonasyncioについて...

Investing.comの反クラウリング戦略を理解する多くの人々は、Investing.com(https://cn.investing.com/news/latest-news)からのニュースデータをクロールしようとします。

Python 3.6のピクルスファイルの読み込みエラー:modulenotfounderror:nomodulenamed ...

SCAPYクローラーを使用するときにパイプラインファイルを作成できない理由についての議論は、SCAPYクローラーを学習して永続的なデータストレージに使用するときに、パイプラインファイルに遭遇する可能性があります...
