PySpark 문자열 열을 날짜 열로 변환하는 방법은 무엇입니까?

PySpark 문자열을 날짜 형식으로 변환

MM-dd-yyyy 형식의 문자열 열이 있는 PySpark DataFrame이 있고 날짜로 변환해야 해요

해결책:

PySpark 문자열 열을 날짜 열로 변환하려면 to_date 함수를 사용할 수 있습니다. 그러나 이전 버전의 Spark(< 2.2)를 사용하는 경우 아래의 대체 접근 방식을 따를 수 있습니다.

Spark에 대한 대체 접근 방식 < 2.2:

unix_timestamp와 from_unixtime 함수의 조합을 사용하세요.

from pyspark.sql.functions import unix_timestamp, from_unixtime

# Example DataFrame with string dates
df = spark.createDataFrame(
    [("11/25/1991",), ("11/24/1991",), ("11/30/1991",)],
    ["date_str"]
)

# Convert to timestamps
df2 = df.select(
    "date_str",
    from_unixtime(unix_timestamp("date_str", "MM/dd/yyy")).alias("date")
)

이렇게 하면 문자열 열에서 변환된 날짜 개체가 포함된 date라는 새 열이 생성됩니다.

위 내용은 PySpark 문자열 열을 날짜 열로 변환하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!