SparkSQL は異なるバージョン間のサブクエリをどのように処理しますか?

SparkSQL サブクエリのサポート

SparkSQL は、バージョン 2.0 以降で相関サブクエリと非相関サブクエリを完全にサポートします。ただし、2.0 より前のバージョンでは、Spark のサブクエリのサポートは制限されていました。

FROM 句のサブクエリについては、Spark は Hive (バージョン

SELECT col FROM (SELECT *  FROM t1 WHERE bar) t2

ただし、WHERE 句のサブクエリは 2.0 より前の Spark バージョンではサポートされていませんでした。これは、パフォーマンス上の懸念と、すべてのサブクエリが JOIN を使用して表現できるという事実によるものです。

Spark 2.0 以降では、相関サブクエリと非相関サブクエリの両方がサポートされています。例は次のとおりです。

SELECT * FROM l WHERE exists (SELECT * FROM r WHERE l.a = r.c)
SELECT * FROM l WHERE l.a in (SELECT c FROM r)

ただし、DataFrame DSL を使用して 2.0 より前のバージョンでサブクエリを表現することは現在不可能であることに注意することが重要です。

以上がSparkSQL は異なるバージョン間のサブクエリをどのように処理しますか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。