


Comment puis-je résoudre efficacement les conflits de dépendances dans mes applications Apache Spark ?
Résoudre les problèmes de dépendance dans Apache Spark
Apache Spark construit dynamiquement son chemin de classe, augmentant sa susceptibilité aux problèmes de dépendance tels que java.lang.ClassNotFoundException , l'objet x n'est pas membre du package y, et java.lang.NoSuchMethodError.
La clé pour résoudre ces problèmes réside dans la compréhension des différents composants d'une application Spark :
- Pilote : Exécute la logique de l'application et gère la connexion au cluster.
- Gestionnaire de cluster : Alloue les ressources (exécuteurs) pour les applications.
- Exécuteurs : Effectuez des tâches de traitement réelles.
Chaque composant nécessite des classes spécifiques, comme illustré par le schéma suivant :
[Image du diagramme de présentation du placement en classe]
Spark Code :
- Doit être présent dans tous les composants pour faciliter la communication.
- Utilisez les mêmes versions Scala et Spark dans tous les composants.
Code réservé au pilote :
- Facultatif, contient des éléments non distribués code.
Code distribué :
- Doit être expédié aux exécuteurs testamentaires pour traitement.
- Comprend les transformations utilisateur et leurs dépendances.
Directives concernant la dépendance Résolution :
-
Code Spark :
- Utilisez des versions Spark et Scala cohérentes dans tous les composants.
- Pour le mode autonome, les pilotes doivent correspondre à la version Spark sur le maître et les exécuteurs.
- Pour YARN/Mesos, fournissez la version correcte de Spark lors du démarrage de SparkSession. Expédiez toutes les dépendances Spark aux exécuteurs testamentaires.
-
Code du pilote :
- Package sous forme de pot unique ou multiple, garantissant l'inclusion de toutes les dépendances Spark et de l'utilisateur code.
-
Code distribué :
- Package sous forme de bibliothèque, comprenant le code utilisateur et les dépendances.
- Envoyez la bibliothèque aux exécuteurs testamentaires à l'aide de spark.jars paramètre.
Bonnes pratiques :
- Créez des bibliothèques avec du code distribué, en les conditionnant sous forme de pots normaux et gras.
- Créez des applications de pilotes avec des dépendances sur ces bibliothèques et Spark (version spécifique).
- Package d'applications de pilotes sous forme de gros pots.
- Définissez spark.jars à l'emplacement du code distribué.
- Définissez spark.yarn.archive à l'emplacement des binaires Spark.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Outils d'IA chauds

Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool
Images de déshabillage gratuites

Clothoff.io
Dissolvant de vêtements AI

Video Face Swap
Échangez les visages dans n'importe quelle vidéo sans effort grâce à notre outil d'échange de visage AI entièrement gratuit !

Article chaud

Outils chauds

Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise
Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP

Dreamweaver CS6
Outils de développement Web visuel

SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Sujets chauds











Dépannage et solutions au logiciel de sécurité de l'entreprise qui fait que certaines applications ne fonctionnent pas correctement. De nombreuses entreprises déploieront des logiciels de sécurité afin d'assurer la sécurité des réseaux internes. ...

Solutions pour convertir les noms en nombres pour implémenter le tri dans de nombreux scénarios d'applications, les utilisateurs peuvent avoir besoin de trier en groupe, en particulier en un ...

Lorsque vous utilisez MyBatis-Plus ou d'autres cadres ORM pour les opérations de base de données, il est souvent nécessaire de construire des conditions de requête en fonction du nom d'attribut de la classe d'entité. Si vous manuellement à chaque fois ...

Le traitement de la cartographie des champs dans l'amarrage du système rencontre souvent un problème difficile lors de l'exécution d'amarrage du système: comment cartographier efficacement les champs d'interface du système a ...

Commencez le printemps à l'aide de la version IntelliJideaultimate ...

Conversion des objets et des tableaux Java: Discussion approfondie des risques et des méthodes correctes de la conversion de type de distribution De nombreux débutants Java rencontreront la conversion d'un objet en un tableau ...

Explication détaillée de la conception des tables SKU et SPU sur les plates-formes de commerce électronique Cet article discutera des problèmes de conception de la base de données de SKU et SPU dans les plateformes de commerce électronique, en particulier comment gérer les ventes définies par l'utilisateur ...

Comment la solution de mise en cache Redis réalise-t-elle les exigences de la liste de classement des produits? Pendant le processus de développement, nous devons souvent faire face aux exigences des classements, comme l'affichage d'un ...
