Hinzufügen einer konstanten Spalte zu einem Spark-DataFrame
Beim Versuch, mithilfe von withColumn und einem konstanten Wert eine neue Spalte zu einem DataFrame hinzuzufügen, Benutzer Aufgrund nicht übereinstimmender Datentypen kann ein Fehler auftreten.
Lösung:
Spark 2.2:
Verwenden Sie typedLit für die direkte Zuweisung konstante Werte verschiedener Typen:
1 2 3 |
|
Spark 1.3 :
Verwenden Sie lit, um einen Literalwert zu erstellen:
1 2 3 |
|
Spark 1.4:
Verwenden Sie für komplexe Spalten Funktionsblöcke wie Array, struct und create_map:
1 2 3 |
|
In Scala:
1 2 3 4 |
|
Für Strukturen , verwenden Sie einen Alias für jedes Feld oder übertragen Sie ihn auf das gesamte Objekt, um Namen bereitzustellen:
1 2 3 4 |
|
Hinweis:
Diese Konstrukte können auch verwendet werden, um konstante Argumente an zu übergeben UDFs oder SQL-Funktionen.
Das obige ist der detaillierte Inhalt vonWie füge ich einem Spark-DataFrame eine konstante Spalte hinzu?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!