Kenapa Spark Lambat??

Kenapa Spark Lambat??

Bermula dengan tajuk yang menarik perhatian, "Mengapa Spark lambat??," adalah penting untuk ambil perhatian bahawa memanggil Spark "perlahan" boleh membawa maksud pelbagai perkara. Adakah ia perlahan pada pengagregatan? Pemuatan data? Kes yang berbeza wujud. Selain itu, "Spark" ialah istilah yang luas dan prestasinya bergantung pada faktor seperti bahasa pengaturcaraan dan konteks penggunaan. Jadi, mari kita perhalusi tajuk menjadi lebih tepat sebelum menyelam.

Memandangkan saya terutamanya menggunakan Spark dengan Python pada Databricks, saya akan mengecilkan skop lagi.

Tajuk yang diperhalusi ialah:

"Kesan Pertama Spark: 'Saya Dengar Ia Cepat, Tetapi Mengapa Ia Terasa Perlahan?' Perspektif Seorang Pemula"

---

Motivasi untuk Menulis (Pemikiran Santai)

Sebagai seseorang yang bekerja secara meluas dengan perpustakaan panda, NumPy dan pembelajaran mesin, saya mengagumi daya tarikan keupayaan Spark untuk mengendalikan data besar dengan pemprosesan selari dan teragih. Apabila saya akhirnya dapat menggunakan Spark untuk bekerja, saya hairan dengan senario di mana ia kelihatan lebih perlahan daripada panda. Tidak pasti apa yang salah, saya menemui beberapa cerapan dan ingin berkongsinya.

---

Bilakah Percikan Anda Menjadi Perlahan?

Sebelum Ke Topik Utama

Mari kita kupas secara ringkas seni bina asas Spark.

(Gambaran Keseluruhan Mod Kluster)

Kluster Spark terdiri daripada Nod Pekerja, yang melaksanakan pemprosesan sebenar dan Nod Pemacu, yang menyelaras dan merancang pelaksanaan. Seni bina ini mempengaruhi semua yang dibincangkan di bawah, jadi ingatlah.

Sekarang, ke perkara utama.

---

1. Set Data Tidak Cukup Besar

Spark dioptimumkan untuk pemprosesan data berskala besar, walaupun ia boleh mengendalikan set data kecil juga. Walau bagaimanapun, lihat penanda aras ini:

(Menanda aras Apache Spark pada Mesin Nod Tunggal)

Hasilnya menunjukkan bahawa untuk set data di bawah 15GB, panda mengatasi Spark dalam tugas pengagregatan. kenapa? Secara ringkasnya, overhed pengoptimuman Spark mengatasi faedah untuk set data kecil.

Pautan menunjukkan kes di mana Spark tidak lebih perlahan, tetapi ini selalunya dalam mod kluster tempatan. Untuk persediaan kendiri, set data yang lebih kecil boleh menjadi kelemahan disebabkan oleh overhed komunikasi rangkaian antara nod.

• pandas: Memproses semua dalam memori pada satu mesin, tanpa rangkaian atau storan I/O.
• Spark: Menggunakan RDD (Resilient Distributed Datasets), melibatkan komunikasi rangkaian antara Pekerja (jika diedarkan), dan menanggung overhed dalam menyusun data untuk pemprosesan selari.

---

2. Memahami Penilaian Malas

Spark menggunakan penilaian malas, bermakna transformasi tidak dilaksanakan serta-merta tetapi ditangguhkan sehingga tindakan (cth., mengumpul, mengira, menunjukkan) mencetuskan pengiraan.

Contoh (panda):

df = spark.read.table("tpch.lineitem").limit(1000).toPandas()
df["l_tax_percentage"] = df["l_tax"] * 100
for l_orderkey, group_df in df.groupby("l_orderkey"):
    print(l_orderkey, group_df["l_tax_percentage"].mean())

Masa pelaksanaan: 3.04 saat

Setara dalam Spark:

from pyspark.sql import functions as F
sdf = spark.read.table("tpch.lineitem").limit(1000)
sdf = sdf.withColumn("l_tax_percentage", F.col("l_tax") * 100)

for row in sdf.select("l_orderkey").distinct().collect():
    grouped_sdf = sdf.filter(F.col("l_orderkey") == row.l_orderkey).groupBy("l_orderkey").agg(
        F.mean("l_tax_percentage").alias("avg_l_tax_percentage")
    )
    print(grouped_sdf.show())

Masa pelaksanaan: Masih berjalan selepas 3 minit.

---

Kenapa?

1. Penilaian Malas: Semua transformasi akan beratur dan hanya dilaksanakan semasa aksi seperti pertunjukan.
2. Komunikasi Pemandu-ke-Pekerja: Operasi seperti mengumpul dan menunjukkan melibatkan pemindahan data daripada Pekerja kepada Pemandu, menyebabkan kelewatan.

Kod Spark dengan berkesan melakukan perkara ini dalam panda:

for l_orderkey, group_df in df.groupby("l_orderkey"):
    df["l_tax_percentage"] = df["l_tax"] * 100
    print(l_orderkey, group_df["l_tax_percentage"].mean())

Elakkan corak sedemikian dengan menggunakan cache Spark atau menyusun semula logik untuk meminimumkan pengiraan berulang.

---

3. Berhati-hati dengan Kocok

https://spark.apache.org/docs/latest/rdd-programming-guide.html#shuffle-operations

Kocok berlaku apabila data diagihkan semula merentas Pekerja, biasanya semasa operasi seperti groupByKey, sertai atau partisi semula. Kocok boleh menjadi perlahan disebabkan oleh:

• Komunikasi Rangkaian antara nod.
• Pengisihan dan Pengagregatan Global data merentas partition.

Contohnya, mempunyai lebih ramai Pekerja tidak selalu meningkatkan prestasi semasa shuffle.

• 32GB x 8 Pekerja boleh menjadi lebih perlahan daripada 64GB x 4 Pekerja, kerana kurang Pekerja mengurangkan komunikasi antara nod.

---

Kesimpulan

Adakah anda mendapati ini membantu? Spark adalah alat yang sangat baik apabila digunakan dengan berkesan. Selain mempercepatkan pemprosesan data berskala besar, Spark bersinar dengan pengurusan sumber berskalanya, terutamanya dalam awan.

Cuba Spark untuk mengoptimumkan operasi dan pengurusan data anda!

Atas ialah kandungan terperinci Kenapa Spark Lambat??. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!