Wie haben sich die Unterabfragefunktionen in SparkSQL entwickelt?

Unterabfragen in SparkSQL verstehen

SparkSQL war bei der Unterstützung von Unterabfragen mit Einschränkungen konfrontiert, insbesondere in der WHERE-Klausel. Während sich dieser Artikel auf das Thema konzentriert, ist es wichtig zu beachten, dass neuere Versionen von Spark (2.0) eine robustere Unterstützung für Unterabfragen bieten. In dieser Antwort werden wir uns mit den historischen Einschränkungen und dem aktuellen Status von Unterabfragen in SparkSQL befassen.

Spark 2.0 und höher

Spark 2.0 hat erhebliche Verbesserungen bei Unterabfragen eingeführt Handhabung. Es unterstützt jetzt sowohl korrelierte als auch unkorrelierte Unterabfragen. Beispiele für unterstützte Szenarien sind:

select * from l where exists (select * from r where l.a = r.c)

Pre-Spark 2.0

Vor Spark 2.0 waren Unterabfragen auf die FROM-Klausel beschränkt, entsprechend dem Verhalten von Hive zuvor Version 0.12. Unterabfragen in der WHERE-Klausel wurden nicht unterstützt. Diese Einschränkung ergab sich aus der Tatsache, dass Unterabfragen mithilfe von JOIN-Operationen ausgedrückt werden konnten.

Zum Beispiel würde die Abfrage, die Gehälter anfordert, die unter dem Höchstgehalt in der Tabelle „samplecsv“ liegen:

sqlContext.sql(
  "select sal from samplecsv where sal < (select MAX(sal) from samplecsv)"
).collect().foreach(println)

nicht funktionieren Wird mit einem Fehler ausgeführt, der auf eine ungültige Syntax hinweist. Die Lösung in früheren Versionen von Spark bestand darin, die Abfrage mithilfe eines JOIN neu zu schreiben:

sqlContext.sql(
  "select l.sal from samplecsv l JOIN
  (select MAX(sal) as max_salary from samplecsv) r
  ON l.sal < r.max_sale"
).collect().foreach(println)

Geplante Funktionen

Für die Zukunft plant Spark die Einführung noch weiterer Verbesserungen zur Unterabfrageunterstützung. Dazu gehören:

• Einzelspaltige DataFrames als Eingabe für Column.isin() zulassen
• Umfassende Unterstützung für die Verarbeitung korrelierter Unterabfragen

Fazit

Die Unterabfragefunktionen von SparkSQL haben eine erhebliche Weiterentwicklung erfahren. Mit der Einführung von Spark 2.0 werden Unterabfragen nun umfassend unterstützt, sodass Entwickler komplexe Abfragen einfacher formulieren können.

Das obige ist der detaillierte Inhalt vonWie haben sich die Unterabfragefunktionen in SparkSQL entwickelt?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!