Spark SQL 版本之间的子查询支持有何不同？

Spark SQL 中的子查询支持

Spark SQL 提供全面的子查询支持。下面是对 Spark SQL 中子查询的探索。

Spark 2.0 及更高版本

Spark SQL 2.0 及更高版本拥有强大的子查询功能，包括：

• 相关子查询：允许子查询外部查询中的引用列。
• 不相关子查询：独立于外部查询而存在。

子查询用法示例

• 从存在的 l 中选择 *（从 r 中选择 *，其中 l.a = r.c)
• select * from l where a in (select c from r)

注意： DataFrame DSL 目前不足以表达 Spark 版本中的子查询逻辑2.0 之前。

Spark 版本之前2.0

在 2.0 以下的 Spark 版本中，子查询仅限于 FROM 子句：

• SELECT col FROM (SELECT * FROM t1 WHERE bar) t2

子查询限制

2.0 之前的 Spark 版本不支持 WHERE 子句中的子查询。这是因为任意子查询，特别是相关子查询，无法使用 Spark 的笛卡尔连接功能有效地表达。尽管如此，FROM 子句中的子查询提供了一种有效的替代方案。

以上是Spark SQL 版本之间的子查询支持有何不同？的详细内容。更多信息请关注PHP中文网其他相关文章！