Comment convertir efficacement une colonne de chaîne Pyspark en colonne de date ?

Conversion d'une colonne de chaîne Pyspark au format de date

Lorsque vous travaillez avec Pyspark, il peut être nécessaire de convertir une colonne de chaîne représentant des dates en une colonne DateType. Ceci est couramment rencontré lorsque les données sont ingérées sous forme de chaînes.

Pour illustrer cela, considérons le DataFrame suivant avec une colonne de chaîne nommée STRING_COLUMN au format MM-jj-aaaa :

df = spark.createDataFrame([
    ("01-01-2023",),
    ("01-02-2023",),
    ("01-03-2023",),
], ["STRING_COLUMN"])
df.show()

Pour convertir STRING_COLUMN en colonne DateType, une méthode consiste à utiliser la fonction to_date(), comme suggéré dans l'original. tentative :

df.select(to_date(df.STRING_COLUMN).alias("new_date")).show()

Cependant, cette approche peut entraîner une colonne remplie de valeurs nulles. Pour résoudre ce problème, envisagez d'utiliser l'une des méthodes suivantes :

1. Fonction to_timestamp (Spark 2.2) :

À partir de Spark 2.2, la fonction to_timestamp() fournit un moyen plus efficace et plus simple de convertir des chaînes en horodatages. Il prend en charge la spécification du format d'entrée à l'aide de l'argument format :

df.select(to_timestamp(df.STRING_COLUMN, "MM-dd-yyyy").alias("new_date")).show()

2. Fonctions unix_timestamp et from_unixtime (Spark < 2.2) :

Pour les versions Spark antérieures à 2.2, une combinaison de fonctions unix_timestamp et from_unixtime peut être utilisée :

from pyspark.sql.functions import unix_timestamp, from_unixtime

df.select(
    from_unixtime(unix_timestamp(df.STRING_COLUMN, "MM-dd-yyyy")).alias("new_date")
).show()

Dans les deux cas , la méthode show() peut être utilisée pour afficher la colonne DateType convertie.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!