如何獲取Spark Jar包?
更新時間 2024-06-13 16:45:24
最近更新時間: 2024-06-13 16:45:24
分享文章
本章節主要介紹翼MapReduce如何獲取Spark Jar包。
1、獲取非Spark依賴
從maven中央倉庫/華為云倉庫等 獲取Spark運行所需要的依賴 ,可以從Spark Apache官網獲取Spark相關的客戶端。
Spark客戶端中jars目錄包含Spark運行依賴。
Spark 客戶端下載地址參考Spark Apache官網。
2、獲取Spark-core等Spark依賴
除了通過Spark Apache官網下載客戶端獲取和maven中央倉庫獲取有時也可以通過源碼打包以獲取。
可根據如下命令進行Spark源碼打包:
整體打包命令:
./build/mvn -Pyarn -Phive -Phive-thriftserver -DskipTests clean package
單模塊打包命令:
./build/mvn -pl :spark-streaming_2.12 clean install