Spark SQL UDF が外部結合ではなくデカルト積を引き起こすことがあるのはなぜですか?

UDF とデカルト積

問題の理解

Spark SQL でのカスタム ユーザーの使用- SQL クエリ内の定義関数 (UDF) はデカルト積を引き起こす場合がある予想される完全な外部結合の代わりに計算が行われます。このパフォーマンスの問題は、UDF の使用により任意の非決定的な関数が導入され、オプティマイザーが考えられるすべての入力の組み合わせを評価せずにその値を決定することが困難になるために発生します。

解決策

UDF とは異なり、完全外部結合 (t1.foo = t2.bar) の単純な等価条件には、予測可能な動作。オプティマイザーは、それぞれ foo と bar に基づいて t1 行と t2 行をシャッフルして、結合を効率的に計算できます。

デカルト積の防止

Spark SQL の変更が不要エンジンでは、UDF が導入するデカルト積に対して外部結合を強制する簡単な方法はありません。この制限は、値を決定するために考えられるすべての引数の組み合わせを評価する必要があるという UDF の固有の性質に起因します。

以上がSpark SQL UDF が外部結合ではなくデカルト積を引き起こすことがあるのはなぜですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。