如何在 PySpark 中將向量資料拆分為列？

在PySpark 中將向量資料分割為欄位

將包含向量資料的「向量」欄位轉換為多列（每列一個）的問題向量的維度，在資料分析和機器學習中經常出現。這個問題在 Apache PySpark 的上下文中解決了這個問題。

使用Spark 進行提取>= 3.0.0

對於Spark 版本3.0.0 及更高版本，簡化可以使用vector_to_array 函數使用該方法：

<code class="python">from pyspark.ml.functions import vector_to_array

(df
 .withColumn("xs", vector_to_array("vector")))
 .select(["word"] + [col("xs")[i] for i in range(3)]))</code>

這將建立一個新列xs，其中包含包含向量元素的陣列。

使用Spark 進行提取

使用Spark 提取3.0.0

對於3.0.0之前的Spark版本，可以使用以下方法：

轉換為RDD並提取

:

<code class="python">def extract(row):
    return (row.word, ) + tuple(row.vector.toArray().tolist())

df.rdd.map(extract).toDF(["word"])</code>

將DataFrame 轉換為RDD 並按元素提取向量值：

<code class="python">from pyspark.sql.functions import udf, col
from pyspark.sql.types import ArrayType, DoubleType

def to_array(col):
    def to_array_(v):
        return v.toArray().tolist()
    return udf(to_array_, ArrayType(DoubleType())).asNondeterministic()(col)

(df
 .withColumn("xs", to_array(col("vector")))
 .select(["word"] + [col("xs")[i] for i in range(3)]))</code>

UDF 方法

:

定義一個使用者定義函數（UDF ）將向量列轉換為陣列：這兩種方法都會將向量元素提取到單獨的列中，以便進一步分析和使用。

以上是如何在 PySpark 中將向量資料拆分為列？的詳細內容。更多資訊請關注PHP中文網其他相關文章！