Tidak dapat menguraikan JSON bersarang dalam bingkai data Spark

Kandungan soalan

Saya baru untuk mencetuskan. Saya cuba meratakan kerangka data tetapi gagal melakukannya melalui "meletup".

Struktur kerangka data asal adalah seperti berikut:

id|approvaljson
1|[{"approvertype":"1st line manager","status":"approved"},{"approvertype":"2nd line manager","status":"approved"}]
2|[{"approvertype":"1st line manager","status":"approved"},{"approvertype":"2nd line manager","status":"rejected"}]

Saya perlu menukarnya kepada skema berikut?

id|approvaltype|status
1|1st line manager|approved
1|2nd line manager|approved
2|1st line manager|approved
2|2nd line manager|rejected

Saya telah mencubanya

df_exploded = df.withcolumn("approvaljson", explode("approvaljson"))

Tetapi saya mendapat ralat:

Cannot resolve "explode(ApprovalJSON)" due to data type mismatch:
parameter 1 requires ("ARRAY" or "MAP") type, however, "ApprovalJSON"
is of "STRING" type.;

Jawapan betul

Mula-mula menghuraikan rentetan seperti json ke dalam tatasusunan struktur dan kemudian gunakan inline untuk memecahkan tatasusunan kepada baris dan lajur

df1 = df.withcolumn("approvaljson", f.from_json("approvaljson", schema="array<struct<approvertype string, status string>>"))
df1 = df1.select("id", f.inline('approvaljson'))

Hasil

df1.show()

+---+----------------+--------+
| ID|    ApproverType|  Status|
+---+----------------+--------+
|  1|1st Line Manager|Approved|
|  1|2nd Line Manager|Approved|
|  2|1st Line Manager|Approved|
|  2|2nd Line Manager|Rejected|
+---+----------------+--------+

Atas ialah kandungan terperinci Tidak dapat menguraikan JSON bersarang dalam bingkai data Spark. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!