使用 Spark-Submit 将 JAR 文件添加到 Spark 作业
使用 Spark-Submit 时，有多个选项可用于将 JAR 文件添加到 Spark 作业，每个选项都包含它本身对类路径、文件分布和优先级的影响。
ClassPath 效果
Spark-Submit 通过以下选项影响 ClassPath：
- spark.driver.extraClassPath 或--driver-class-path：为驱动程序节点指定额外的类路径。
- spark.executor.extraClassPath：为工作节点指定额外的类路径。
用于要包含的文件在两个 ClassPath 上，都需要在 both 标志中指定。
文件分布
文件分布取决于执行模式：
- 客户端模式： Spark 通过 HTTP 服务器将文件分发到工作节点。
-
集群模式： Spark 不分发文件，您必须通过 HDFS 或其他共享存储手动使它们可供所有工作节点使用。
接受的 URI 格式
Spark-Submit 支持以下 URI 前缀进行文件分发：
- file:: 由驱动程序 HTTP 服务器提供服务。
- hdfs:, http:, https:, ftp:: 从指定的 URI 拉取。
- local:: 必须是每个工作节点上的本地文件。
受影响的选项
问题中提到的选项影响 JAR 文件处理，如下所示：
- --jars 和SparkContext.addJar：不将 JAR 添加到 ClassPaths 的等效选项。
- SparkContext.addFile：用于不是运行时依赖项的任意文件。
- --conf spark.driver.extraClassPath 或 - -driver-class-path：驱动程序类路径修改的别名。
- --conf spark.driver.extraLibraryPath 或 --driver-library-path：驱动程序库路径的别名。
- -- conf spark.executor.extraClassPath：用于无法包含在 über JAR 中的运行时依赖项。
- --conf spark.executor.extraLibraryPath：指定 JVM 的 java.library.path 选项。
优先级
直接在 SparkConf 上设置的属性具有最高优先级，其次是 Spark-Submit 标志，然后是 Spark-defaults.conf 中的选项。因此，代码中设置的任何值都将覆盖相应的标志或选项。
同时添加 JAR 文件
在客户端模式下，可以安全地使用所有三个主要选项添加 JAR 文件：
spark-submit --jars additional1.jar,additional2.jar \
--driver-class-path additional1.jar:additional2.jar \
--conf spark.executor.extraClassPath=additional1.jar:additional2.jar \
--class MyClass main-application.jar
登录后复制
但是，在集群模式下，您应该只使用 --jars 添加文件，并自己手动将它们分发到工作节点。应避免将 JAR 文件传递给 --driver-library-path 等冗余参数。
以上是如何使用 Spark-Submit 将 JAR 文件添加到 Spark 作业中？执行此操作有哪些不同的选项和注意事项？的详细内容。更多信息请关注PHP中文网其他相关文章！
