Bagaimana untuk Meratakan Struktur Bersarang dalam Bingkai Data Spark?

Meratakan Struktur Bersarang dalam Kerangka Data Spark

Seseorang mungkin menghadapi situasi di mana bingkai data mengandungi struktur bersarang yang kompleks dan meratakannya menjadi perlu. Pertimbangkan kerangka data dengan struktur berikut:

|-- data: struct (nullable = true)
|    |-- id: long (nullable = true)
|    |-- keyNote: struct (nullable = true)
|    |    |-- key: string (nullable = true)
|    |    |-- note: string (nullable = true)
|    |-- details: map (nullable = true)
|    |    |-- key: string
|    |    |-- value: string (valueContainsNull = true)

Matlamatnya adalah untuk meratakan struktur ini dan mencipta kerangka data baharu dengan struktur dipermudahkan berikut:

|-- id: long (nullable = true)
|-- keyNote: struct (nullable = true)
|    |-- key: string (nullable = true)
|    |-- note: string (nullable = true)
|-- details: map (nullable = true)
|    |-- key: string
|    |-- value: string (valueContainsNull = true)

Walaupun Spark tidak memberikan secara eksplisit fungsi "meletup" untuk struct, kaedah berikut boleh digunakan dalam Spark 1.6 atau lebih baru untuk mencapai hasil yang diingini:

df.select(df.col("data.*"))

Sebagai alternatif, jika hanya medan khusus struct "data" diperlukan, sintaks berikut boleh digunakan:

df.select(df.col("data.id"), df.col("data.keyNote"), df.col("data.details"))

Dengan menggunakan teknik ini, adalah mungkin untuk meratakan struktur bersarang yang kompleks dalam bingkai data Spark, membolehkan analisis dan manipulasi data selanjutnya.

Atas ialah kandungan terperinci Bagaimana untuk Meratakan Struktur Bersarang dalam Bingkai Data Spark?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!