如何使用 Spark-Submit 將 JAR 檔案新增至 Spark 作業？

使用Spark-Submit 將JAR 檔案新增至Spark 作業

使用Spark-Submit 時，有多個選項可用於將JAR 檔案新增至Spark 作業，每個選項都包含它本身對類別路徑、檔案分佈和優先順序的影響。

ClassPath 效果

Spark-Submit 透過下列選項影響ClassPath：

• spark.driver.extraClassPath 或--driver-class-path：為驅動程式節點指定額外的類路徑。
• spark.executor.extraClassPath：為工作節點指定額外的類別路徑。

用於要包含的檔案在兩個 ClassPath 上，都需要在 both 標誌中指定。

檔案分佈

檔案分佈取決於執行模式：

• 客戶端模式： Spark 透過HTTP 伺服器將檔案分發到工作節點。
• 叢集模式： Spark 不分發文件，您必須透過 HDFS 或其他共用儲存手動使它們可供所有工作節點使用。

接受的 URI 格式

Spark-Submit 支援以下 URI 前綴進行檔案分發：

• file:: 由驅動程式 HTTP 伺服器提供服務。
• hdfs:, http:, https:, ftp:: 從指定的 URI 拉取。
• local:: 必須是每個工作節點上的本機檔案。

受影響的選項

問題中提到的選項影響JAR 檔案處理，如下所示：

• --jars 和SparkContext.addJar ：不將JAR 新增到ClassPaths 的等效選項。
• SparkContext.addFile：用於不是執行時間依賴項的任意檔案。
• --conf spark.driver.extraClassPath 或 - -driver-class-path：驅動程式類別路徑修改的別名。
• --conf spark.driver.extraLibraryPath 或 --driver-library-path：驅動程式庫路徑的別名。
• -- conf spark.executor.extraClassPath：用於無法包含在 über JAR 中的執行時間依賴項。
• --conf spark.executor.extraLibraryPath：指定 JVM 的 java.library.path 選項。

優先權

直接在 SparkConf 上設定的屬性具有最高優先權，其次是 Spark-Submit 標誌，然後是 Spark-defaults.conf 中的選項。因此，程式碼中設定的任何值都將覆蓋相應的標誌或選項。

同時新增JAR 檔案

在客戶端模式下，可以安全地使用所有三個主要選項新增JAR 檔案：

但是，在叢集模式下，您應該只使用--jars 新增文件，並自行手動將它們分發到工作節點。應避免將 JAR 檔案傳遞給 --driver-library-path 等冗餘參數。

以上是如何使用 Spark-Submit 將 JAR 檔案新增至 Spark 作業？的詳細內容。更多資訊請關注PHP中文網其他相關文章！