En quoi la prise en charge des sous-requêtes diffère-t-elle selon les versions de Spark SQL ?

Prise en charge des sous-requêtes dans Spark SQL

Spark SQL offre une prise en charge complète des sous-requêtes. Voici une exploration des sous-requêtes dans Spark SQL.

Spark 2.0 et versions ultérieures

Spark SQL dans les versions 2.0 et supérieures offre des fonctionnalités de sous-requêtes robustes, notamment :

• Sous-requêtes corrélées : Autoriser les sous-requêtes à référencer les colonnes du requête externe.
• Sous-requêtes non corrélées : Existent indépendamment de la requête externe.

Exemples d'utilisation de sous-requêtes

• sélectionnez * à partir de l où existe (sélectionnez * à partir de r où l.a = r.c)
• select * from lwhere a in (select c from r)

Remarque : DataFrame DSL est actuellement insuffisant pour exprimer la logique de sous-requête dans les versions Spark antérieures à 2.0.

Versions Spark antérieures à 2.0

Dans les versions Spark inférieures à 2.0, les sous-requêtes sont limitées à la clause FROM :

• SELECT col FROM (SELECT * FROM t1 WHERE bar) t2

Sous-requête Limitations

Les sous-requêtes de la clause WHERE ne sont pas prises en charge dans les versions Spark antérieures à 2.0. En effet, les sous-requêtes arbitraires, en particulier celles corrélées, ne peuvent pas être exprimées efficacement à l'aide des fonctionnalités de jointure cartésienne de Spark. Néanmoins, les sous-requêtes dans la clause FROM constituent une alternative efficace.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!