Wie konvertiert man VectorUDTs in Spalten in PySpark?

Patricia Arquette
Freigeben: 2024-10-31 18:34:01
Original
173 Leute haben es durchsucht

How do you Convert VectorUDTs into Columns in PySpark?

VectorUDTs mit PySpark in Spalten auflösen

In PySpark müssen Sie möglicherweise einzelne Dimensionen aus als VectorUDTs gespeicherten Vektorspalten extrahieren. Um dies zu erreichen, können Sie verschiedene Ansätze basierend auf Ihrer Spark-Version nutzen.

Spark >= 3.0.0

PySpark 3.0.0 bietet integrierte Funktionalität für diese Aufgabe:

<code class="python">from pyspark.ml.functions import vector_to_array

df.withColumn("xs", vector_to_array("vector")).select(["word"] + [col("xs")[i] for i in range(3)])</code>
Nach dem Login kopieren

Dadurch wird der Vektor präzise in ein Array umgewandelt und die gewünschten Spalten projiziert.

Spark < 3.0.0

Spark-Versionen vor 3.0.0 erfordern komplexere Ansätze:

RDD-Konvertierung:

<code class="python">df.rdd.map(lambda row: (row.word,) + tuple(row.vector.toArray().tolist())).toDF(["word"])</code>
Nach dem Login kopieren

UDF-Methode:

<code class="python">from pyspark.sql.functions import udf, col
from pyspark.sql.types import ArrayType, DoubleType

def to_array(col):
    return udf(lambda v: v.toArray().tolist(), ArrayType(DoubleType()))(col)

df.withColumn("xs", to_array(col("vector"))).select(["word"] + [col("xs")[i] for i in range(3)])</code>
Nach dem Login kopieren

Hinweis: Stellen Sie für eine höhere Leistung sicher, dass asNodeterministic mit der UDF verwendet wird (erfordert Spark 2.3).

Scala-Äquivalent

Das Scala-Äquivalent dieser Ansätze finden Sie unter „Spark Scala: So konvertieren Sie Dataframe[vector] in DataFrame[f1:Double, ..., fn: Double)].“

Das obige ist der detaillierte Inhalt vonWie konvertiert man VectorUDTs in Spalten in PySpark?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Quelle:php.cn
Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn
Neueste Artikel des Autors
Beliebte Tutorials
Mehr>
Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage
Über uns Haftungsausschluss Sitemap
Chinesische PHP-Website:Online-PHP-Schulung für das Gemeinwohl,Helfen Sie PHP-Lernenden, sich schnell weiterzuentwickeln!