如何使用巢狀資料結構（映射、陣列、結構）查詢 Spark SQL DataFrame？

使用Spark SQL查詢複雜類型的資料框

簡介

Spark SQL支援查詢資料框中儲存的複雜類型，例如對應和陣列。本指南概述了存取和操作嵌套資料結構的語法和方法。

訪問數組

Column.getItem方法

<code>df.select($"arrayColumn".getItem(index)).show</code>

其中，index表示陣列中所需元素的位置。

Hive方括號語法

<code>sqlContext.sql("SELECT arrayColumn[index] FROM df").show</code>

使用者自訂函數 (UDF)

<code>val get_ith = udf((xs: Seq[Int], i: Int) => Try(xs(i)).toOption)

df.select(get_ith($"arrayColumn", lit(index))).show</code>

過濾與轉換數組

Spark 2.4 引入了內建函數，例如filter、transform、aggregate和array_*函數，這些函數可用於操作數組：

filter

<code>df.selectExpr("filter(arrayColumn, x -> x % 2 == 0) arrayColumn_even").show</code>

transform

<code>df.selectExpr("transform(arrayColumn, x -> x + 1) arrayColumn_inc").show</code>

aggregate

<code>df.selectExpr("aggregate(arrayColumn, 0, (acc, x) -> acc + x, acc -> acc) arrayColumn_sum").show</code>

其他陣列函數

• array_distinct
• array_max
• flatten
• arrays_zip
• array_union
• slice

存取映射

Column.getField方法

<code>df.select($"mapColumn".getField("key")).show</code>

其中，key表示映射中所需鍵的名稱。

Hive方括號語法

<code>sqlContext.sql("SELECT mapColumn['key'] FROM df").show</code>

全路徑點語法

<code>df.select($"mapColumn.key").show</code>

使用者自訂函數 (UDF)

<code>val get_field = udf((kvs: Map[String, String], k: String) => kvs.get(k))

df.select(get_field($"mapColumn", lit("key"))).show</code>

map_* 函數

• map_keys
• map_values

訪問結構體

全路徑點語法

<code>df.select($"structColumn.field").show</code>

其中，field表示結構體中所需欄位的名稱。

存取嵌套的結構體陣列

可以使用點語法、欄位名稱和Column方法的組合來存取嵌套結構體陣列中的欄位：

點語法

<code>df.select($"nestedArrayColumn.foo").show</code>

DataFrame API

<code>df.select($"nestedArrayColumn.vals".getItem(index).getItem(innerIndex)).show</code>

附加說明

• 可以使用UDF存取使用者定義類型 (UDT) 中的欄位。
• 對於涉及巢狀資料的某些操作，可能需要展平模式或展開集合。
• 可以使用get_json_object和from_json函數來查詢JSON欄位。

以上是如何使用巢狀資料結構（映射、陣列、結構）查詢 Spark SQL DataFrame？的詳細內容。更多資訊請關注PHP中文網其他相關文章！