如何在 PySpark 中将矢量数据拆分为列？

在 PySpark 中将向量数据拆分为列

将包含向量数据的“向量”列转换为多列（每列一个）的问题向量的维度，在数据分析和机器学习中经常出现。这个问题在 Apache PySpark 的上下文中解决了这个问题。

使用 Spark 进行提取 >= 3.0.0

对于 Spark 版本 3.0.0 及更高版本，简化可以使用 vector_to_array 函数使用该方法：

<code class="python">from pyspark.ml.functions import vector_to_array

(df
 .withColumn("xs", vector_to_array("vector")))
 .select(["word"] + [col("xs")[i] for i in range(3)]))</code>

这将创建一个新列 xs，其中包含包含向量元素的数组。

使用 Spark 进行提取

使用 Spark 进行提取3.0.0

对于3.0.0之前的Spark版本，可以使用以下方法：

转换为RDD并提取

:

<code class="python">def extract(row):
    return (row.word, ) + tuple(row.vector.toArray().tolist())

df.rdd.map(extract).toDF(["word"])</code>

将 DataFrame 转换为 RDD 并按元素提取向量值：

UDF 方法

:

<code class="python">from pyspark.sql.functions import udf, col
from pyspark.sql.types import ArrayType, DoubleType

def to_array(col):
    def to_array_(v):
        return v.toArray().tolist()
    return udf(to_array_, ArrayType(DoubleType())).asNondeterministic()(col)

(df
 .withColumn("xs", to_array(col("vector")))
 .select(["word"] + [col("xs")[i] for i in range(3)]))</code>

定义一个用户定义函数（UDF ）将向量列转换为数组：

这两种方法都会将向量元素提取到单独的列中，以便进一步分析和使用。

以上是如何在 PySpark 中将矢量数据拆分为列？的详细内容。更多信息请关注PHP中文网其他相关文章！