Comment aplatir des structures de données complexes dans Spark DataFrames ?

Comment diviser des structures de données complexes dans des DataFrames Spark

Dans les dataframes Spark, des structures de données complexes telles que des structures et des cartes peuvent être utilisées pour stocker données imbriquées de manière efficace. Cependant, il peut s'avérer nécessaire d'aplatir ces structures pour travailler directement avec les éléments individuels.

Aplatir les structures imbriquées

Pour extraire les champs imbriqués d'une structure, le col La fonction peut être combinée avec le symbole générique *. Par exemple, considérons le schéma de dataframe suivant :

|-- data: struct (nullable = true)
 |    |-- id: long (nullable = true)
 |    |-- keyNote: struct (nullable = true)
 |    |    |-- key: string (nullable = true)
 |    |    |-- note: string (nullable = true)
 |    |-- details: map (nullable = true)
 |    |    |-- key: string
 |    |    |-- value: string (valueContainsNull = true)

Pour aplatir cette structure et créer un nouveau dataframe, utilisez :

df.select(df.col("data.*"))

Cela créera un dataframe avec la structure aplatie suivante :

     |-- id: long (nullable = true)
     |-- keyNote: struct (nullable = true)
     |    |-- key: string (nullable = true)
     |    |-- note: string (nullable = true)
     |-- details: map (nullable = true)
     |    |-- key: string
     |    |-- value: string (valueContainsNull = true)

Aplatissement des cartes imbriquées

De même, les cartes imbriquées peuvent être aplaties en utilisant la syntaxe suivante :

df.select(df.col("data.details").as("map_details"))

Cela créera un cadre de données avec la carte aplatie comme nouvelle colonne nommée "map_details". La colonne aura la structure suivante :

     |-- map_details: map (nullable = true)
     |    |-- key: string
     |    |-- value: string (valueContainsNull = true)

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!