如何有效管理依賴關係以避免 Apache Spark 應用程式出現錯誤？

解決Apache Spark 中的依賴關係問題

Apache Spark 應用程式在建置和部署過程中通常會遇到與依賴關係相關的問題。這些問題包括java.lang.ClassNotFoundException、object x is not a member of package y 編譯錯誤以及java.lang.NoSuchMethodError.

動態類路徑和依賴管理

動態類路徑和依賴管理

Spark 的類別路徑是動態建置的以適應使用者程式碼，可能會導致這些問題。此外，所使用的特定集群管理器（master）引入了進一步的考慮因素。

元件和類別放置

• Spark應用程式包含以下元件：
驅動程式：初始化應用程式並連接到叢集管理器。
• 叢集管理器：促進資源分配並將工作指派給執行器。

執行器：在叢集節點上執行 Spark 任務。

每個組件的類別放置如下所示：

< ;img src="https://i.sstatic.net/eGByZ.png" alt="如何有效管理依賴關係以避免 Apache Spark 應用程式出現錯誤？">

分發代碼

• 了解類別放置要求可以在組件之間正確分發代碼：
• Spark 代碼：包含所有元件所需的函式庫，並且必須在所有元件中可用三.
• 僅驅動程式程式碼：不需要分發給執行器的使用者程式碼。

分散式程式碼：

需要執行的使用者程式碼在執行者​​上且必須運送到

不同群集管理器中的依賴管理

獨立：

要求所有驅動程式使用與master 相同的 Spark 版本

YARN / Mesos:
• 允許每個應用程式使用不同的 Spark 版本。
• 驅動程式版本必須與編譯和打包時使用的版本。

Spark 依賴項，包括傳遞依賴項，必須包含在分散式 jars/archive 中。

使用YARN 的建議方法

• 為了盡量減少依賴性問題，請考慮以下方法：
使用分散式程式碼建立一個函式庫，作為常規jar 和fat jar。
• 建立依賴分散式程式碼庫和 Apache Spark（特定版本）的驅動程式應用程式。
• 將驅動程式應用程式打包為 fat jar。
• 使用 Spark.jars 參數指定分散式程式碼版本。

使用spark.yarn.archive參數提供包含Spark二進位檔案的存檔檔案。

以上是如何有效管理依賴關係以避免 Apache Spark 應用程式出現錯誤？的詳細內容。更多資訊請關注PHP中文網其他相關文章！