Wie kann ich Abhängigkeiten effektiv verwalten, um Fehler in Apache Spark-Anwendungen zu vermeiden?

Behebung von Abhängigkeitsproblemen in Apache Spark

Apache Spark-Anwendungen stoßen beim Erstellen und Bereitstellen häufig auf abhängigkeitsbezogene Probleme. Zu diesen Problemen gehören java.lang.ClassNotFoundException, Objekt x ist kein Mitglied von Paket y-Kompilierungsfehlern und java.lang.NoSuchMethodError.

Dynamic Classpath and Dependency Management

Der Klassenpfad von Spark, der dynamisch erstellt wird, um Benutzercode aufzunehmen, kann zu diesen Problemen führen. Darüber hinaus führt der jeweils eingesetzte Clustermanager (Master) weitere Überlegungen ein.

Komponenten und Klassenplatzierung

Eine Spark-Anwendung umfasst die folgenden Komponenten:

• Treiber: Initialisiert die Anwendung und stellt eine Verbindung zum Cluster-Manager her.
• Cluster-Manager: Erleichtert die Ressourcenzuweisung und verteilt die Arbeit an Ausführende.
• Ausführende: Führen Sie Spark-Aufgaben auf Clusterknoten aus.

Die Klassenplatzierung jeder Komponente ist unten dargestellt:

< img src="https://i.sstatic.net/eGByZ.png" alt="Klassenplatzierung Übersicht">

Code verteilen

Das Verständnis der Klassenplatzierungsanforderungen ermöglicht eine ordnungsgemäße Codeverteilung über Komponenten hinweg:

• Spark-Code: Enthält Bibliotheken, die von allen Komponenten benötigt werden und in allen verfügbar sein müssen drei.
• Nur-Treiber-Code:Benutzercode, der nicht an Ausführende verteilt werden muss.
• Verteilter Code:Benutzercode, der ausgeführt werden muss auf Executors und muss an diese versendet werden.

Abhängigkeitsmanagement in verschiedenen Clustern Manager

Standalone:

• Erfordert, dass alle Treiber dieselbe Spark-Version wie der Master und die Executoren verwenden.

GARN / Mesos:

• Ermöglicht unterschiedliche Spark-Versionen für jede Anwendung.
• Die Treiberversion muss mit der beim Kompilieren und Packen verwendeten Version übereinstimmen.
• Spark-Abhängigkeiten, einschließlich transitiver Abhängigkeiten, müssen in den verteilten JARs/Archiven enthalten sein.

Vorgeschlagener Ansatz Verwendung von YARN

Um Abhängigkeitsprobleme zu minimieren, sollten Sie den folgenden Ansatz in Betracht ziehen:

• Erstellen Sie eine Bibliothek mit verteiltem Code sowohl als reguläres Jar als auch als Fat Jar.
• Erstellen Sie eine Treiberanwendung mit Abhängigkeiten von der verteilten Codebibliothek und Apache Spark (spezifische Version).
• Packen Sie die Treiberanwendung als Fat jar.
• Verwenden Sie den Parameter spark.jars, um die verteilte Codeversion anzugeben.
• Verwenden Sie den Parameter spark.yarn.archive, um eine Archivdatei mit Spark-Binärdateien bereitzustellen.

Das obige ist der detaillierte Inhalt vonWie kann ich Abhängigkeiten effektiv verwalten, um Fehler in Apache Spark-Anwendungen zu vermeiden?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!