Spark作業管理概述
更新時間 2024-02-22 17:05:28
最近更新時間: 2024-02-22 17:05:28
分享文章
本章節主要介紹Spark作業管理概述。
DLI在開源Spark基礎上進行了大量的性能優化與服務化改造,兼容Apache Spark生態和接口,執行批處理任務。
DLI還支持使用Spark作業訪問DLI元數據。
Spark作業管理主要包括如下功能:
- 創建Spark作業
- 重新執行作業
- 查找作業
- 終止作業
以及查看“使用指南”和“使用視頻”。
作業管理頁面
在總覽頁面單擊“Spark作業”簡介,或在左側導航欄單擊“作業管理”>“Spark作業”,可進入Spark作業管理頁面。Spark作業管理頁面顯示所有的Spark作業,作業數量較多時,系統分頁顯示,您可以查看任何狀態下的作業。
作業管理參數
| 參數 | 參數說明 |
|---|---|
| 作業ID | 所提交Spark作業的ID,由系統默認生成。 |
| 名稱 | 所提交Spark作業的名稱。 |
| 隊列 | 所提交Spark作業所在的隊列。 |
| 用戶名 | 執行Spark作業的用戶名稱。 |
| 狀態 | 作業的狀態信息,包括如下。 啟動中:正在啟動 運行中:正在執行任務 已失敗:session已退出 已成功:session運行成功 恢復中:正在恢復任務 |
| 創建時間 | 每個作業的創建時間,可按創建時間順序或倒序顯示作業列表。 |
| 最后修改時間 | 作業運行完成的時間。 |
| 操作 | 編輯:可修改當前作業配置,重新執行作業。 SparkUI:單擊后,將跳轉至Spark任務運行情況界面。 說明 狀態為“啟動中”的作業不能查看SparkUI界面。 目前DLI配置SparkUI只展示最新的100條作業信息。 終止作業:終止啟動中和運行中的作業。 重新執行:重新運行該作業。 歸檔日志:將作業日志保存到系統創建的DLI臨時數據桶中。 提交日志:查看提交作業的日志。 Driver日志:查看運行作業的日志。 |
重新執行作業
在“Spark作業”頁面,單擊對應作業“操作”列中的“編輯”,跳轉至“Spark作業編輯”頁面,可根據需要修改參數,執行作業。
查找作業
在“Spark作業”頁面,選擇“狀態”或“隊列”。系統將根據設置的過濾條件,在作業列表顯示符合對應條件的作業。
終止作業
在“Spark作業”頁面,單擊對應作業“操作”列中的“更多”>“終止作業”,可停止啟動中和運行中的作業。