Warum meldet es einen Fehler beim Einreichen eines Pyflink -Jobs auf Garn?

Die Einreichung von Pyflink -Jobs fehlgeschlagen bei Garn: Analyse der Ursachen fehlender Python -Skripte und -Lösungen

Bei der Übermittlung eines Pyflink -Jobs mit Garn können Sie auf einen Fehler stoßen, bei dem das Python -Skript nicht gefunden wird, wie z. B.:

 <code>2024-05-24 16:38:02,030 info org.apache.flink.client.python.pythondriver [] - pyflink181.zip/pyflink181/bin/python: can't open file 'hdfs://nameservice1/pyflink/wc2.py': [errno 2] no such file or directory</code>

Dies geschieht normalerweise, wenn die folgenden Befehle verwendet werden:

 ./Flink Run-Application -t-Garn-Anwendung \
-Dyarn.Application.name = FlinkcdCtestPython \
-Dyarn.Provided.lib.dirs = "hdfs: // namesService1/pyflink/Flink-dist-181" \
-Pyarch hdfs: //nameService1/pyflink/pyflink181.zip \
-pyclientExec pyflink181.zip/pyflink181/bin/python \
-pyexec pyflink181.zip/pyflink181/bin/python \
-Py HDFS: //nameService1/pyflink/wc2.py

Im Gegensatz dazu hat die Einreichung von Java -Jobs normalerweise keine Probleme:

 ./Flink Run-Application -t-Garn-Anwendung \
-djobmanager.memory.process.size = 1024m \ \
-dtaskManager.Memory.Process.size = 1024m \
-Dyarn.Application.name = flinkcdctest \
-Dyarn.Provided.lib.dirs = "hdfs: // namesService1/pyflink/Flink-dist-181" \
hdfs: //nameService1/pyflink/statemachineExample.jar

Der Java -Job wurde erfolgreich eingereicht, was darauf hinweist, dass die HDFS -Konfiguration korrekt ist. Das Problem ist der Python -Skriptpfad oder die Konfiguration des Pyflink -Jobs.

Schritte zur Fehlerbehebung und Lösung

1. Überprüfen Sie den Befehl Python -Skript: hdfs dfs -ls hdfs://nameservice1/pyflink/wc2.py um zu überprüfen, ob das Skript wc2.py im angegebenen HDFS -Pfad existiert. Wenn es nicht vorhanden ist, stellen Sie sicher, dass das Skript richtig auf den Pfad hochgeladen wird.

2. Überprüfen Sie die Pyflink -Konfiguration: Überprüfen Sie -pyarch , -pyclientexec und -pyexec , um sicherzustellen, dass sie genau auf die Pyflink -Umgebung und den Python -Dolmetscher verweisen. pyflink181.zip muss alle notwendigen Python -Bibliotheken und Ausführungsumgebungen enthalten.

3. Berechtigungen Ausgabe: Verwenden Sie hdfs dfs -ls -h hdfs://nameservice1/pyflink/wc2.py um die HDFS -Berechtigungen des Skripts anzuzeigen. Wenn die Berechtigungen nicht ausreichend sind, verwenden Sie hdfs dfs -chmod 755 hdfs://nameservice1/pyflink/wc2.py um die Berechtigungen zu ändern, um sicherzustellen, dass Garn- und Flink -Benutzer Berechtigungen gelesen haben.

4. Protokollanalyse: Aktivieren Sie eine detaillierte Protokollierung von Flink und Garn und analysieren Sie Fehlerprotokolle für spezifischere Fehlerinformationen und wo sie auftritt.

5. Kompatibilität der Python -Umgebung: Stellen Sie sicher, dass die von Pyflink verwendete Python -Version mit der Version übereinstimmt, die bei der Entwicklung von Skripten verwendet wird, und vermeiden Sie inkompatible Versionen, die dazu führen, dass das Skript nicht erkannt oder ausgeführt wird.

Durch die oben genannten Schritte können Sie systematisch das Problem beheben und die Konfiguration entsprechend der tatsächlichen Situation anpassen. Wenn das Problem weiterhin besteht, geben Sie detailliertere Informationen zum Flink und Garnprotokoll zur weiteren Analyse.

Das obige ist der detaillierte Inhalt vonWarum meldet es einen Fehler beim Einreichen eines Pyflink -Jobs auf Garn?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!