Spark-Submit を使用して JAR ファイルを Spark ジョブに追加するにはどうすればよいですか?また、そのためのさまざまなオプションと考慮事項は何ですか?

Spark-Submit を使用した Spark ジョブへの JAR ファイルの追加

Spark-Submit を使用する場合、Spark ジョブに JAR ファイルを追加するにはいくつかのオプションがあります。クラスパス、ファイル分散、および優先順位に対する独自の影響。

ClassPath効果

Spark-Submit は、次のオプションを通じてクラスパスに影響します:

• spark.driver.extraClassPath または --driver-class-path: ドライバー ノードの追加のクラスパスを指定します。
• spark.executor.extraClassPath: ワーカーの追加のクラスパスを指定しますノード。

ファイルを両方のクラスパスに含めるには、両方 フラグで指定する必要があります。

ファイル配布

ファイルの配布は実行モードによって異なります:

• クライアントモード: Spark は、HTTP サーバー経由でワーカー ノードにファイルを配布します。
• クラスター モード: Spark はファイルを配布しません。ファイルを手動で使用可能にする必要がありますHDFS または他の共有ストレージを介してすべてのワーカー ノードに送信します。

受け入れられた URI形式

Spark-Submit は、ファイル配布用に次の URI プレフィックスをサポートしています:

• file:: ドライバー HTTP サーバーによって提供されます。
• hdfs:、http:、 https:、ftp:: 指定された URI から取得されます。
• local:: 上のローカル ファイルである必要があります各ワーカーノード。

影響を受けるオプション

質問で言及されているオプションは、次のように JAR ファイルの処理に影響します:

• --jars および SparkContext.addJar : JAR を追加しない同等のオプションClassPaths.
• SparkContext.addFile: ランタイムの依存関係ではない任意のファイルに使用されます。
• --conf dark.driver.extraClassPath または --driver-class-path: ドライバーの ClassPath 変更のエイリアス.
• --conf spak.driver.extraLibraryPath または--driver-library-path: ドライバー ライブラリ パスのエイリアス。
• --conf スパーク.executor.extraClassPath: über JAR に含めることができないランタイムの依存関係に使用されます。
• -- conf spak.executor.extraLibraryPath: JVM の java.library.path を指定します。 option.

優先度

SparkConf で直接設定されたプロパティが最も優先され、次に Spark-Submit フラグ、spark-defaults.conf のオプションが続きます。したがって、コードで設定された値は、対応するフラグまたはオプションをオーバーライドします。

JAR ファイルの同時追加

クライアント モードでは、3 つの主要なオプションをすべて使用して JAR ファイルを安全に追加できます。

spark-submit --jars additional1.jar,additional2.jar \
  --driver-class-path additional1.jar:additional2.jar \
  --conf spark.executor.extraClassPath=additional1.jar:additional2.jar \
  --class MyClass main-application.jar

ただし、クラスター モードでは、--jars を使用してファイルを追加するだけで、手動でワーカー ノードに配布する必要があります。 JAR ファイルを --driver-library-path に渡すような冗長な引数は避けてください。

以上がSpark-Submit を使用して JAR ファイルを Spark ジョブに追加するにはどうすればよいですか?また、そのためのさまざまなオプションと考慮事項は何ですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。