Wie kann ich alle Spalten beibehalten, wenn ich Daten in einem Spark DataFrame mithilfe von groupBy aggregiere?

Daten mit mehreren Spalten gruppieren und aggregieren

Bei Verwendung der Methode „groupBy“ von Spark DataFrame können Sie Aggregationsvorgänge für bestimmte Spalten ausführen, um Ihre Daten zusammenzufassen . Der resultierende DataFrame enthält jedoch nur die gruppierte Spalte und das aggregierte Ergebnis.

Um diese Einschränkung zu beheben und zusätzliche Spalten zusammen mit der Aggregation abzurufen, ziehen Sie die folgenden Lösungen in Betracht:

Verwenden Erste oder letzte Aggregate

Ein Ansatz besteht darin, die Aggregationsfunktionen first() oder last() zu verwenden, um zusätzliche Spalten in Ihren gruppierten DataFrame aufzunehmen. Beispiel:

df.groupBy(df("age")).agg(Map("name" -> "first", "id" -> "count"))

Diese Abfrage erstellt einen DataFrame mit drei Spalten: „Alter“, „Name“ und „Anzahl(ID)“. Die Spalte „Name“ enthält den ersten Wert für jede Altersgruppe und die Spalte „Anzahl (ID)“ enthält die Anzahl der „ID“-Werte für jede Altersgruppe.

Aggregierte Ergebnisse zusammenführen

Eine andere Lösung besteht darin, den aggregierten DataFrame mit dem ursprünglichen DataFrame zu verbinden und dabei die gruppierte Spalte als Verbindungsschlüssel zu verwenden. Bei diesem Ansatz bleiben alle Spalten in Ihrem ursprünglichen DataFrame erhalten:

val aggregatedDf = df.groupBy(df("age")).agg(Map("id" -> "count"))
val joinedDf = aggregatedDf.join(df, Seq("age"), "left")

Der resultierende DataFrame „joinedDf“ enthält alle Spalten aus dem ursprünglichen DataFrame sowie die Aggregation „count(id)“ aus dem gruppierten DataFrame.

Fensterfunktionen verwenden

Schließlich können Sie auch Fensterfunktionen verwenden, um Emulieren Sie das gewünschte Verhalten von GroupBy mit zusätzlichen Spalten. Hier ist ein Beispiel:

df.withColumn("rowNum", row_number().over(Window.partitionBy("age")))
.groupBy("age").agg(first("name"), count("id"))
.select("age", "name", "count(id)")

Diese Abfrage erstellt eine Fensterfunktion, um jedem Datensatz innerhalb jeder Altersgruppe eine Zeilennummer zuzuweisen. Anschließend wird diese Zeilennummer verwendet, um das erste Vorkommen von „name“ für jede Altersgruppe zusammen mit der Aggregation „count(id)“ abzurufen.

Die Wahl des Ansatzes hängt von den spezifischen Anforderungen und Leistungsüberlegungen von ab Ihre Bewerbung.

Das obige ist der detaillierte Inhalt vonWie kann ich alle Spalten beibehalten, wenn ich Daten in einem Spark DataFrame mithilfe von groupBy aggregiere?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!