Kenapa ia melaporkan kesilapan ketika mengemukakan pekerjaan pyfliin di benang?

Penyerahan Pekerja

Apabila mengemukakan pekerjaan PyFliink menggunakan benang, anda mungkin menghadapi ralat di mana skrip Python tidak dijumpai, seperti:

 <code>2024-05-24 16:38:02,030 info org.apache.flink.client.python.pythondriver [] - pyflink181.zip/pyflink181/bin/python: can't open file 'hdfs://nameservice1/pyflink/wc2.py': [errno 2] no such file or directory</code>

Ini biasanya berlaku apabila menggunakan arahan berikut:

 ./flink Run-Application -t Benang-Application \
-dyarn.application.name = Flinkcdctestpython \
-dyarn.provided.lib.dirs = "hdfs: // nameservice1/pyflink/flink-dist-181" \
-Pyarch hdfs: //nameservice1/pyfliink/pyfliink181.zip \
-pyclientexec pyfliink181.zip/pyfliink181/bin/python \
-pyexec pyfliink181.zip/pyfliink181/bin/python \
-py hdfs: //nameservice1/pyflink/wc2.py

Sebaliknya, penyerahan pekerjaan Java biasanya tidak menghadapi masalah:

 ./flink Run-Application -t Benang-Application \
-djobmanager.memory.process.size = 1024m \
-dtaskmanager.memory.process.size = 1024m \
-dyarn.application.name = Flinkcdctest \
-dyarn.provided.lib.dirs = "hdfs: // nameservice1/pyflink/flink-dist-181" \
hdfs: //nameservice1/pyflink/statemachineexample.jar

Pekerjaan Java berjaya diserahkan, menunjukkan bahawa konfigurasi HDFS adalah betul. Masalahnya ialah laluan skrip Python atau konfigurasi pekerjaan Pyfliink.

Langkah penyelesaian masalah dan penyelesaian

1. Sahkan Laluan Skrip Python: Gunakan hdfs dfs -ls hdfs://nameservice1/pyflink/wc2.py wc2.py Jika ia tidak wujud, pastikan skrip dimuat naik ke jalan dengan betul.

2. Semak Konfigurasi PyFliink: Periksa semula parameter -pyarch , -pyclientexec dan -pyexec parameter untuk memastikan mereka menunjuk tepat kepada persekitaran PyFliink dan penterjemah Python. pyflink181.zip mesti mengandungi semua perpustakaan python yang diperlukan dan persekitaran pelaksanaan.

3. Isu Kebenaran: Gunakan hdfs dfs -ls -h hdfs://nameservice1/pyflink/wc2.py untuk melihat kebenaran HDFS skrip. Sekiranya kebenaran tidak mencukupi, gunakan hdfs dfs -chmod 755 hdfs://nameservice1/pyflink/wc2.py untuk mengubahsuai keizinan untuk memastikan pengguna benang dan flink telah membaca kebenaran.

4. Analisis log: Dayakan pembalakan terperinci flink dan benang, menganalisis log ralat untuk maklumat ralat yang lebih spesifik dan di mana ia berlaku.

5. Keserasian Alam Sekitar Python: Pastikan versi Python yang digunakan oleh PyFliink selaras dengan versi yang digunakan semasa membangunkan skrip, dan mengelakkan versi yang tidak serasi yang menyebabkan skrip tidak diiktiraf atau dilaksanakan.

Melalui langkah -langkah di atas, masalah penyelesaian masalah secara sistematik dan menyesuaikan konfigurasi mengikut keadaan sebenar, anda dapat menyelesaikan masalah yang skrip Python tidak dapat dijumpai apabila kerja Pyflik diserahkan pada benang. Sekiranya masalah berterusan, berikan maklumat log yang lebih terperinci dan benang untuk analisis lanjut.

Atas ialah kandungan terperinci Kenapa ia melaporkan kesilapan ketika mengemukakan pekerjaan pyfliin di benang?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!