Rumah > pangkalan data > tutorial mysql > Bagaimana Saya Boleh Mengekalkan Nilai Null Semasa Apache Spark Joins?

Bagaimana Saya Boleh Mengekalkan Nilai Null Semasa Apache Spark Joins?

DDD
Lepaskan: 2024-12-31 17:36:11
asal
304 orang telah melayarinya

How Can I Preserve Null Values During Apache Spark Joins?

Memelihara Nilai Null dalam Apache Spark Joins

Secara lalai, Apache Spark mengetepikan baris dengan nilai null apabila melakukan gabungan. Untuk memasukkan nilai-nilai ini dalam output gabungan, Spark menyediakan beberapa pilihan.

NULL-Safe Equality Operator (<=>)

Spark 1.6 memperkenalkan NULL khas -operator kesaksamaan selamat yang membolehkan anda memasukkan nilai nol dalam penyertaan anda kriteria.

numbersDf
  .join(lettersDf, numbersDf("numbers") <=> lettersDf("numbers"))
  .drop(lettersDf("numbers"))
Salin selepas log masuk

Column.eqNullSafe (PySpark 2.3.0 )

Dalam PySpark 2.3.0 dan lebih baru, anda boleh menggunakan Column.eqNullSafe untuk melaksanakan NULL- kesaksamaan selamat semakan.

numbers_df = sc.parallelize([
    ("123", ), ("456", ), (None, ), ("", )
]).toDF(["numbers"])

letters_df = sc.parallelize([
    ("123", "abc"), ("456", "def"), (None, "zzz"), ("", "hhh")
]).toDF(["numbers", "letters"])

numbers_df.join(letters_df, numbers_df.numbers.eqNullSafe(letters_df.numbers))
Salin selepas log masuk

%<=>% (SparkR)

SparkR menawarkan pengendali %<=>% untuk semakan kesaksamaan selamat NULL .

numbers_df <- createDataFrame(data.frame(numbers = c("123", "456", NA, "")))
letters_df <- createDataFrame(data.frame(
  numbers = c("123", "456", NA, ""),
  letters = c("abc", "def", "zzz", "hhh")
))

head(join(numbers_df, letters_df, numbers_df$numbers %<=>% letters_df$numbers))
Salin selepas log masuk

TIDAK BERBEZA DENGAN (SQL)

Dalam SQL (Spark 2.2.0 ), anda boleh menggunakan IS NOT DISTINCT FROM untuk mengekalkan nilai nol dalam cantuman.

SELECT * FROM numbers JOIN letters 
ON numbers.numbers IS NOT DISTINCT FROM letters.numbers
Salin selepas log masuk

Operator ini juga boleh digunakan dengan API DataFrame:

numbersDf.alias("numbers")
  .join(lettersDf.alias("letters"))
  .where("numbers.numbers IS NOT DISTINCT FROM letters.numbers")
Salin selepas log masuk

Atas ialah kandungan terperinci Bagaimana Saya Boleh Mengekalkan Nilai Null Semasa Apache Spark Joins?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn
Tutorial Popular
Lagi>
Muat turun terkini
Lagi>
kesan web
Kod sumber laman web
Bahan laman web
Templat hujung hadapan