Apache Spark 애플리케이션에서 오류를 방지하기 위해 종속성을 효과적으로 관리하려면 어떻게 해야 합니까?

Apache Spark의 종속성 문제 해결

Apache Spark 애플리케이션은 일반적으로 빌드 및 배포 중에 종속성 관련 문제에 직면합니다. 이러한 문제에는 java.lang.ClassNotFoundException, 객체 x가 패키지 y의 멤버가 아닙니다 컴파일 오류 및 java.lang.NoSuchMethodError.

동적 클래스 경로 및 종속성 관리

사용자 코드를 수용하기 위해 동적으로 생성되는 Spark의 클래스 경로로 인해 이러한 문제가 발생할 수 있습니다. 또한 고용된 특정 클러스터 관리자(마스터)는 추가 고려 사항을 소개합니다.

구성 요소 및 클래스 배치

Spark 애플리케이션은 다음 구성 요소로 구성됩니다.

드라이버: 애플리케이션을 초기화하고 클러스터 관리자에 연결합니다.
• 클러스터 관리자: 리소스 할당을 촉진하고 실행자에게 작업을 배포합니다.
• 실행자: 클러스터 노드에서 Spark 작업을 실행합니다.

각 구성 요소의 클래스 배치는 아래 그림과 같습니다.

코드 배포

클래스 배치 요구 사항을 이해하면 구성 요소 전체에 적절한 코드 배포가 가능합니다.

• Spark 코드: 모든 구성 요소에 필요한 라이브러리가 포함되어 있으며 사용 가능해야 합니다. 세 가지 모두에서.
• 드라이버 전용 코드: 실행자에게 배포할 필요가 없는 사용자 코드.
• 분산 코드: 필요한 사용자 코드 실행기에서 실행하려면 다음으로 배송되어야 합니다.

다양한 클러스터 관리자의 종속성 관리

독립형:

모든 드라이버에 다음 사항이 필요합니다. 마스터와 동일한 Spark 버전을 사용하고

YARN / Mesos:

각 애플리케이션에 대해 서로 다른 Spark 버전을 허용합니다.
• 드라이버 버전은 컴파일 및 패키징 중에 사용되는 버전입니다.
• 전이적 종속성을 포함한 Spark 종속성은 다음과 같아야 합니다.

YARN을 사용한 권장 접근 방식

종속성 문제를 최소화하려면 다음 접근 방식을 고려하세요.

일반 jar와 fat 모두로 분산 코드가 포함된 라이브러리 만들기 jar.
• 분산 코드 라이브러리 및 Apache Spark(특정 버전)에 종속된 드라이버 애플리케이션을 생성합니다.
• 드라이버 애플리케이션을 fat jar로 패키징합니다.
• Spark.jars 매개변수를 사용하여 분산 코드 버전을 지정하세요.
• Spark.yarn.archive 매개변수를 사용하여 Spark가 포함된 아카이브 파일을 제공하세요. 바이너리.

위 내용은 Apache Spark 애플리케이션에서 오류를 방지하기 위해 종속성을 효과적으로 관리하려면 어떻게 해야 합니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!