Spark DataFrames에서 IF-THEN-ELSE 논리를 구현하는 방법은 무엇입니까?

IF Then ELSE와 동등한 Spark

이 질문은 조건부 규칙을 기반으로 Spark DataFrame에서 새 열을 생성하는 방법에 대해 자세히 설명합니다.

언제의 문제 함수

제공된 코드는 when() 함수를 사용하여 "iris_class" 열의 값을 기반으로 "Class"라는 새 열을 생성하려고 시도합니다. 그러나 when()은 두 개의 인수만 사용한다는 오류가 발생합니다.

올바른 구문 및 구조

when() 함수의 올바른 구문은 다음과 같습니다.

F.when(condition1, value1).when(condition2, value2)...otherwise(otherwiseValue)

이렇게 하면 여러 개의 when() 절을 함께 연결할 수 있으며, 선택적 else() 절을 사용하여 다음에서 다루지 않는 사례를 처리할 수 있습니다. when() 절.

이 구문에 해당하는 SQL은 아래와 같이 여러 WHEN 절이 있는 CASE 문입니다.

CASE
    WHEN condition1 THEN value1
    WHEN condition2 THEN value2
    ...
    ELSE otherwiseValue
END

권장 솔루션

따라서 "Class" 열을 생성하는 올바른 코드는 be:

iris_spark_df = iris_spark.withColumn(
    "Class", 
    F.when(iris_spark.iris_class == 'Iris-setosa', 0)
    .when(iris_spark.iris_class == 'Iris-versicolor', 1)
    .otherwise(2)
)

대체 구문

동일한 결과를 얻기 위한 또 다른 유효한 구문은 다음과 같습니다.

iris_spark_df = iris_spark.withColumn(
    "Class", 
    F.when(iris_spark.iris_class == 'Iris-setosa', 0)
    .otherwise(
        F.when(iris_spark.iris_class == 'Iris-versicolor', 1)
        .otherwise(2)
    )
)

Hive에 대한 참고 사항 IF

다음에 유의하는 것이 중요합니다. IF(조건, if-true, if-false) 구문이 있는 Hive IF 조건은 Spark에서 지원되지 않습니다. 이 조건문은 Hive를 지원하는 원시 SQL 쿼리에서만 사용할 수 있습니다.

위 내용은 Spark DataFrames에서 IF-THEN-ELSE 논리를 구현하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!