Bagaimana untuk Melaksanakan Logik IF-THEN-ELSE dalam Spark Menggunakan `when()`?

Spark Equivalent of IF Then ELSE

Dalam contoh ini, kami menyasarkan untuk menambah lajur baharu "Kelas" pada DataFrame "iris_spark" berdasarkan nilai lajur kategori sedia ada, "iris_class," yang mempunyai tiga kategori berbeza.

Kod yang disediakan, walau bagaimanapun, menghadapi ralat:

iris_spark_df = iris_spark.withColumn(
    "Class", 
   F.when(iris_spark.iris_class == 'Iris-setosa', 0, F.when(iris_spark.iris_class == 'Iris-versicolor',1)).otherwise(2))

Mesej ralat menunjukkan bahawa fungsi when() dalam Spark hanya mengambil dua argumen, bertentangan dengan kod yang disediakan.

Untuk menangani isu ini, struktur yang betul untuk menggunakan fungsi when() ialah sama ada:

(when(col("iris_class") == 'Iris-setosa', 0)
.when(col("iris_class") == 'Iris-versicolor', 1)
.otherwise(2))

atau

(when(col("iris_class") == 'Iris-setosa', 0)
    .otherwise(when(col("iris_class") == 'Iris-versicolor', 1)
        .otherwise(2)))

Ungkapan ini bersamaan dengan pernyataan SQL CASE:

CASE 
    WHEN (iris_class = 'Iris-setosa') THEN 0
    WHEN (iris_class = 'Iris-versicolor') THEN 1 
    ELSE 2
END

dan

CASE WHEN (iris_class = 'Iris-setosa') THEN 0 
     ELSE CASE WHEN (iris_class = 'Iris-versicolor') THEN 1 
               ELSE 2 
          END 
END

masing-masing.

Umum sintaks when() dalam Spark ialah:

when(condition, value).when(...)

atau

when(condition, value).otherwise(...)

Perhatikan bahawa ungkapan bersyarat Hive IF IF(condition, if-true, if-false) tidak disokong terus dalam Spark dan hanya boleh digunakan dalam SQL mentah dengan sokongan Hive.

Atas ialah kandungan terperinci Bagaimana untuk Melaksanakan Logik IF-THEN-ELSE dalam Spark Menggunakan `when()`?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!