Bagaimanakah SparkSQL Mengendalikan Subkueri Merentasi Versi Berbeza?

Sokongan Subkueri SparkSQL

SparkSQL menyokong sepenuhnya subkueri berkorelasi dan tidak berkorelasi dalam versi 2.0 dan seterusnya. Walau bagaimanapun, dalam versi sebelum 2.0, sokongan Spark untuk subkueri adalah terhad.

Untuk subkueri dalam klausa FROM, Spark menyokongnya dengan cara yang sama seperti Hive (versi <= 0.12).

SELECT col FROM (SELECT *  FROM t1 WHERE bar) t2

Walau bagaimanapun, subkueri dalam klausa WHERE tidak disokong dalam versi Spark sebelum 2.0. Ini disebabkan oleh kebimbangan prestasi dan hakikat bahawa setiap subkueri boleh dinyatakan menggunakan JOIN.

Dalam Spark 2.0 dan lebih baru, kedua-dua subkueri berkorelasi dan tidak berkorelasi disokong. Contohnya termasuk:

SELECT * FROM l WHERE exists (SELECT * FROM r WHERE l.a = r.c)
SELECT * FROM l WHERE l.a in (SELECT c FROM r)

Walau bagaimanapun, adalah penting untuk ambil perhatian bahawa menggunakan DataFrame DSL untuk menyatakan subqueries dalam versi sebelum 2.0 tidak boleh dilakukan pada masa ini.

Atas ialah kandungan terperinci Bagaimanakah SparkSQL Mengendalikan Subkueri Merentasi Versi Berbeza?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!