Java는 Python Spark 프로그램에 전화를 걸어 고착 : Runtime.getRuntime (). exec () 차단 문제를 해결하는 방법?

파이썬 코드의 분석 및 솔루션은 Java Call에 갇혀 있습니다.

Java를 사용하여 Python Code를 호출하는 과정에서, 프로그램이 고정되어 계속 실행할 수없는 것과 같은 어려운 문제가 종종 발생합니다. 이 기사는 특정 사례를 분석하고 해당 솔루션을 제공합니다.

문제 설명 : 개발자는 Java의 runtime.getRuntime (). exec () 메소드를 사용하여 Python 스크립트를 실행하고 Python 스크립트는 데이터 처리에 Spark를 사용합니다. Java 쪽에서는 Python 스크립트의 출력은 프로세스 객체를 통해 얻어 지지만 Python 스크립트가 Sorted_word_count.take (20)에 실행되면 Java Side 프로그램이 고정되어 계속 실행할 수 없습니다.

파이썬 스크립트 코드는 다음과 같습니다.

 spark = sparksession.builder.appname ( "Java Backend에서 읽기"). Master ( "local [*]"). getorcreate ();

# 전달 된 매개 변수 주석을 얻으십시오.

# json 문자열 변환 객체 댓글 = json.loads (댓글)

# 주석 목록을 RDD로 변환합니다
comment_rdd = spark.sparkcontext.parallelize (comment)

# rdd를 dataframe으로 변환합니다
df = spark.createdataframe (comment_rdd.map (lambda x : row (** x)))

# 스톱 단어 라이브러리 stop_words = spark.sparkcontext.textFile ( "c : /users/10421/downloads/baidu_stopwords.txt"). collect ()

# ... (일부 코드는 여기에서 생략됩니다) ...

# 각 단어의 발생 수를 계산하십시오.
sorted_word_count = word_count.sortby (Lambda x : x [1], 오름차순 = false)
top_20_words = sorted_word_count.take (20)
열 = 0
top_20_words의 행 :
    인쇄 (행 [열])

Java 코드 스 니펫은 다음과 같습니다.

 프로세스 프로세스 = runtime.getRuntime (). exec (args1);

// 프로그램 실행 결과 inputStream inputStream = process.getInputStream ();
bufferedReader reader = new bufferedReader (new inputStreamReader (inputStream, "gb2312"));
// ... (일부 코드는 여기에서 생략됩니다) ...

문제 분석 : 테스트 후 Java 프로그램이 고정 된 이유는 Python 스크립트에서 CODE SORMEDED_WORD_COUNT.TAKE (20)의 실행입니다. 코드 의이 부분은 스파크 처리가 완료되고 결과를 반환 할 때까지 차단됩니다. Process.getInputStream ()이 차단되기 때문에 Python 프로그램의 출력이 표준 출력 스트림에 출력되지 않으면 Java 프로그램이 기다려서 고착이 발생합니다.

솔루션 : 문제는 문자 인코딩에서 가장 가능성이 높습니다. 원래 코드는 GB2312 인코딩을 사용하여 Python의 출력을 읽습니다. 이는 Python 스크립트의 출력 인코딩과 일치하지 않을 수 있으며 데이터 읽기 막힘을 일으 킵니다. Java 코드를 수정하고 UTF-8 인코딩을 사용하여 Python의 출력을 읽으면이 문제가 해결 될 수 있습니다.

수정 된 Java 코드 :

 bufferedReader reader = new bufferedReader (new inputStreamReader (inputStream, "UTF-8"));
bufferedReader reader2 = new bufferedReader (new inputStreamReader (ErrorStream, "UTF-8"));

Java 코드의 읽기 입력 스트림의 인코딩 및 오류 스트림을 UTF-8로 수정함으로써 Java 프로그램의 문제를 해결할 수 있습니다. Python 스크립트는 UTF-8을 사용하여 출력이 인코딩되어 있는지 확인해야합니다. 문제가 지속되면 Spark 작업의 실행 효율성과 Python 스크립트에 다른 잠재적 차단 작업이 있는지 여부를 추가로 확인해야합니다.

위 내용은 Java는 Python Spark 프로그램에 전화를 걸어 고착 : Runtime.getRuntime (). exec () 차단 문제를 해결하는 방법?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!