Bagaimanakah cara saya Menambah Fail JAR pada Spark Job dengan Spark-Submit dan Bagaimana Classpath Berfungsi?

Menambahkan Fail JAR pada Spark Job dengan Spark-Submit

Kesan ClassPath

Menggunakan extraClassPath atau --driver-class-path menetapkan classpath untuk pemandu nod, manakala spark.executor.extraClassPath menetapkannya untuk nod pekerja. Untuk mempunyai JAR mempengaruhi kedua-duanya, nyatakan ia dalam kedua-dua konfigurasi.

Watak Pemisah

Pemisah yang digunakan bergantung pada sistem pengendalian:

• Linux: Colon (:)
• Windows: Semicolon (;)

Pengedaran Fail

Dalam mod klien, fail diedarkan melalui pelayan HTTP. Dalam mod kelompok, mereka mesti disediakan kepada pekerja melalui HDFS atau storan kongsi lain.

Jenis URI

Skim URL yang diterima termasuk:

• fail: - Disediakan oleh pelayan HTTP pemandu
• hdfs:, http:, https:, ftp: - Ambil fail terus
• tempatan: - Andaikan fail wujud pada setiap nod pekerja

Pilihan Terjejas

• - -jars (atau SparkContext.addJar): Menambah JAR tanpa mengubah suai classpath.
• --conf spark.driver.extraClassPath: Menambah JAR pada classpath pemandu.
• --conf spark.driver.extraLibraryPath: Menambah laluan ke perpustakaan luaran untuk pemandu.
• --conf spark.executor.extraClassPath: Menambah JAR pada laluan kelas pekerja.
• --conf spark.executor.extraLibraryPath: Menambah laluan ke perpustakaan luaran untuk pekerja.

Keutamaan

Nilai yang ditetapkan terus pada SparkConf diutamakan daripada pilihan bendera atau Spark-serahkan.

Untuk Kesederhanaan

Dalam mod pelanggan, seseorang boleh menggunakan yang berikut untuk menambah JAR untuk pemandu dan pekerja:

spark-submit --jars additional1.jar,additional2.jar \
  --driver-class-path additional1.jar:additional2.jar \
  --conf spark.executor.extraClassPath=additional1.jar:additional2.jar \
  --class MyClass main-application.jar

Walau bagaimanapun, dalam mod kelompok, pastikan JAR boleh diakses melalui sistem storan kongsi.

Atas ialah kandungan terperinci Bagaimanakah cara saya Menambah Fail JAR pada Spark Job dengan Spark-Submit dan Bagaimana Classpath Berfungsi?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!