Comment ajouter des fichiers JAR à une tâche Spark à l'aide de Spark-submit ?

Comment ajouter des fichiers JAR à une tâche Spark à l'aide de spark-submit

Arrière-plan :

Spark-submit est un outil de ligne de commande utilisé pour soumettre des applications Spark. Il permet aux utilisateurs de spécifier diverses options, notamment l'ajout de fichiers JAR au chemin de classe de l'application.

Chemin de classe et distribution JAR :

• ClassPath : fichiers JAR ajoutés via options spark-submit (--driver-class-path, --conf spark.driver.extraClassPath, --conf spark.executor.extraClassPath) modifier le chemin de classe des nœuds de pilote ou d'exécuteur.
• Distribution JAR : les fichiers JAR ajoutés via les méthodes --jars ou SparkContext.addJar sont automatiquement distribués aux nœuds de travail.

Option Analyse :

1. --jars vs SparkContext.addJar

• Ces deux options remplissent la même fonction d'ajout de fichiers JAR au chemin de classe de l'application. Cependant, ils sont utilisés dans différents contextes :

  • --jars : utilisés lors de la ligne de commande spark-submit.
  • SparkContext.addJar : utilisés par programme dans l'application Spark.

2. SparkContext.addJar vs SparkContext.addFile

• SparkContext.addJar : ajoute un fichier JAR qui contient les dépendances utilisées par le code de l'application.
• SparkContext.addFile : ajoute un fichier arbitraire qui ne peuvent pas être directement utilisés par le code de l'application (par exemple, fichiers de configuration, données fichiers).

3. --driver-class-path vs --conf spark.driver.extraClassPath

• Alias ​​qui spécifient des fichiers JAR supplémentaires sur le chemin de classe du nœud du pilote.

4. --driver-library-path vs --conf spark.driver.extraLibraryPath

• Alias ​​qui spécifient les chemins vers des bibliothèques supplémentaires sur le nœud du pilote.

5. --conf spark.executor.extraClassPath

• Spécifie des fichiers JAR supplémentaires sur le chemin de classe des nœuds exécuteurs.

6. --conf spark.executor.extraLibraryPath

• Spécifie les chemins vers des bibliothèques supplémentaires sur les nœuds exécuteurs.

Utilisation simultanée de plusieurs options :

Tant qu'ils ne sont pas en conflit, vous pouvez utiliser plusieurs JAR en toute sécurité. options d'ajout de fichiers en même temps. Cependant, notez que les fichiers JAR ne doivent être inclus dans les options extraClassPath que s'ils doivent figurer sur le chemin de classe.

Exemple :

La commande suivante montre l'ajout de fichiers JAR. en utilisant diverses options :

spark-submit --jars additional1.jar,additional2.jar \
  --driver-class-path additional1.jar:additional2.jar \
  --conf spark.executor.extraClassPath=additional1.jar:additional2.jar \
  --class MyClass main-application.jar

Considérations supplémentaires :

• Les fichiers JAR ajoutés à l'aide de --jars ou SparkContext.addJar sont copiés dans le répertoire de travail de chaque nœud exécuteur.
• L'emplacement du répertoire de travail est généralement /var/run/spark/work .
• Évitez de dupliquer les références JAR dans différentes options pour éviter une consommation inutile de ressources.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!