如何使用 Spark-Submit 将 JAR 文件添加到 Spark 作业以及类路径如何工作？

使用 Spark-Submit 将 JAR 文件添加到 Spark 作业

ClassPath 效果

使用extraClassPath 或 --driver-class-path 设置驱动程序节点的类路径，而spark.executor.extraClassPath 设置工作节点的类路径。要让 JAR 影响两者，请在两种配置中指定它。

分隔符

使用的分隔符取决于操作系统：

• Linux: 冒号 (:)
• Windows: 分号 (;)

文件分发

在客户端模式下，文件通过以下方式分发HTTP 服务器。在集群模式下，必须通过 HDFS 或其他共享存储向工作人员提供它们。

URI 类型

接受的 URL 方案包括：

• file: - 由驱动程序的 HTTP 服务器提供
• hdfs:, http:, https:, ftp: - 直接获取文件
• local: - 假设每个工作节点上都存在文件

受影响的选项

• --jars（或 SparkContext.addJar）： 添加 JAR 而不修改类路径。
• --conf spark.driver.extraClassPath: 将 JAR 添加到驱动程序类路径。
• --conf spark.driver.extraLibraryPath: 添加到外部的路径驱动程序的库。
• --conf spark.executor.extraClassPath: 将 JAR 添加到工作器类路径。
• --conf spark.executor.extraLibraryPath : 为工作人员添加外部库的路径。

优先级

直接在 SparkConf 上设置的值优先于标志或 Spark 提交选项。

简单起见

在客户端模式下，可以使用以下内容为驱动程序和工作人员添加 JAR：

spark-submit --jars additional1.jar,additional2.jar \
  --driver-class-path additional1.jar:additional2.jar \
  --conf spark.executor.extraClassPath=additional1.jar:additional2.jar \
  --class MyClass main-application.jar

在集群模式下但是，请确保可通过共享存储系统访问 JAR。

以上是如何使用 Spark-Submit 将 JAR 文件添加到 Spark 作业以及类路径如何工作？的详细内容。更多信息请关注PHP中文网其他相关文章！