SparkSQL은 다양한 버전의 하위 쿼리를 어떻게 처리합니까?

SparkSQL 하위 쿼리 지원

SparkSQL은 버전 2.0 이상에서 상관 및 비상관 하위 쿼리를 완벽하게 지원합니다. 하지만 2.0 이전 버전에서는 Spark의 하위 쿼리 지원이 제한되었습니다.

FROM 절에 있는 하위 쿼리의 경우 Spark는 Hive와 동일한 방식으로 지원합니다(버전 <= 0.12).

SELECT col FROM (SELECT *  FROM t1 WHERE bar) t2

단, 스파크 2.0 이전 버전에서는 WHERE절 서브쿼리가 지원되지 않았습니다. 이는 성능 문제와 모든 하위 쿼리가 JOIN을 사용하여 표현될 수 있다는 사실 때문이었습니다.

Spark 2.0 이상에서는 상관된 하위 쿼리와 상관되지 않은 하위 쿼리가 모두 지원됩니다. 예는 다음과 같습니다.

SELECT * FROM l WHERE exists (SELECT * FROM r WHERE l.a = r.c)
SELECT * FROM l WHERE l.a in (SELECT c FROM r)

그러나 2.0 이전 버전에서는 DataFrame DSL을 사용하여 하위 쿼리를 표현하는 것이 현재 불가능하다는 점에 유의하는 것이 중요합니다.

위 내용은 SparkSQL은 다양한 버전의 하위 쿼리를 어떻게 처리합니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!