如何使用 Spark-Submit 將 JAR 檔案新增至 Spark 作業以及類別路徑如何運作？

使用Spark-Submit 將JAR 檔案加入Spark 作業

ClassPath 效果

ClassPath 效果

分隔符號

使用的分隔符號取決於作業系統：
• Linux: 冒號(:)

Linux: 冒號(:) Windows: 分號(;)

檔案分發

在客戶端模式下，檔案透過以下方式散佈HTTP 伺服器。在叢集模式下，必須透過 HDFS 或其他共用儲存向工作人員提供它們。

URI 類型
• 接受的URL 方案包括：
• file: - 由驅動程式的HTTP 伺服器提供

file: - 由驅動程式的HTTP 伺服器提供

hdfs:, http:, https:, ftp: - 直接取得檔案

• local: - 假設每個工作節點上都存在檔案
• 受影響的選項
• --jars（或SparkContext.addJar）： 增加JAR 而不修改類路徑。
• --conf spark.driver.extraClassPath: 將 JAR 加入到驅動程式類別路徑。
• --conf spark.driver.extraLibraryPath: 新增到外部的路徑驅動程式的庫。

--conf spark.executor.extraClassPath: 將 JAR 新增至工作器類別路徑。

--conf spark.executor.extraLibraryPath :

為工作人員新增外部程式庫的路徑。

優先權

spark-submit --jars additional1.jar,additional2.jar \
  --driver-class-path additional1.jar:additional2.jar \
  --conf spark.executor.extraClassPath=additional1.jar:additional2.jar \
  --class MyClass main-application.jar

直接在 SparkConf 上設定的值優先於標誌或 Spark 提交選項。

簡單起見在客戶端模式下，可以使用以下內容為驅動程式和工作人員新增JAR：在叢集模式下但是，請確保可透過共用儲存系統存取JAR。

以上是如何使用 Spark-Submit 將 JAR 檔案新增至 Spark 作業以及類別路徑如何運作？的詳細內容。更多資訊請關注PHP中文網其他相關文章！