用戶創建了新作業后,需要根據用戶的實際需求對作業進行操作,具體操作有如下幾種:
- 編輯作業
- 啟動作業
- 停止作業
- 刪除作業
- 導出作業
- 導入作業
- 名稱和描述修改
- 導入保存點
- 觸發保存點
- 運行時配置
編輯作業
用戶可以對已經創建的作業進行編輯,如修改SQL語句、作業名稱和描述、作業配置信息等。
1.在DLI管理控制臺的左側導航欄中,單擊“作業管理”>“Flink作業”,進入Flink作業管理頁面。
2.在需要編輯作業對應的“操作”列中,單擊“編輯”,進入作業“編輯”頁面。
3.根據實際需求編輯作業。
- 對于Flink SQL類型作業,編輯頁面詳情請參見創建Flink SQL作業中的步驟5~步驟7。
- 對于Flink自定義類型作業,編輯頁面詳情請參見創建Flink Jar作業中的步驟5~步驟7。
啟動作業
用戶可以啟動已創建保存的作業或已經停止的作業。
1.在DLI管理控制臺的左側導航欄中,單擊“作業管理”>“Flink作業”,進入Flink作業管理頁面。
2.啟動作業,有以下兩種方式:
- 啟動單個作業
選擇一個作業,在對應的“操作”列中,單擊“啟動”。
也可以在作業列表中,勾選一個作業,單擊作業列表左上方的“啟動”。
- 批量啟動作業
勾選多個作業,單擊作業列表左上方的“啟動”,可以啟動多個作業。
單擊“啟動”后,跳轉至“作業配置清單”頁面。
3.在“作業配置清單”頁面,確認作業信息,若無誤,單擊“立即啟動”。
作業啟動后,可在對應作業的“狀態”列中查看運行成功或失敗。
停止作業
當用戶不需要運行某個作業時,用戶可以將狀態為“運行中”和“提交中”的作業停止。
1.在DLI管理控制臺的左側導航欄中,單擊“作業管理”>“Flink作業”,進入Flink作業管理頁面。
2.停止作業,有以下兩種方式:
- 停止單個作業
選擇需要停止的作業,在對應的“操作”列中,單擊“更多 > 停止”。
也可以在作業列表中,勾選一個作業,單擊作業列表左上方的“停止”。
- 批量停止作業
勾選多個需要停止作業,單擊作業列表左上方的“停止”。可以停止多個作業。
3.在彈出的“停止作業”窗口中,單擊“確認”,停止作業。
說明
在停止作業之前,用戶可以觸發保存點,保存作業的狀態信息。當該作業再次啟動時用戶可以選擇是否從保存點恢復。
勾選“觸發保存點”表示創建保存點。不勾選“觸發保存點”表示不創建保存點。默認不創建保存點。
保存點的生命周期從觸發保存點并停止作業開始,重啟作業后結束。保存點在重啟作業后自動刪除,不會一直保存。
停止作業過程中,在作業列表的“狀態”列中將顯示作業狀態,說明如下:
- 如果在“狀態”中顯示“停止中”,表示正在停止作業。
- 如果在“狀態”中顯示“已停止”,表示停止作業成功。
- 如果在“狀態”中顯示“停止失敗”,表示停止作業失敗。
刪除作業
當用戶不再需要使用某個作業時,可以參考如下操作刪除該作業。作業刪除后,將不可恢復,請謹慎操作。
1.在DLI管理控制臺的左側導航欄中,單擊“作業管理”>“Flink作業”,進入Flink作業管理頁面。
2.刪除作業,有以下兩種方式:
- 刪除單個作業
在需要刪除作業對應的“操作”列中,單擊“更多 > 刪除”,彈出“刪除作業”頁面。
也可以在作業列表中,勾選一個作業,單擊作業列表左上方的“刪除”,彈出“刪除作業”頁面。
- 批量刪除作業
勾選多個需要刪除作業,單擊作業列表左上方的“刪除”,彈出“刪除作業”頁面,可以刪除多個作業。
3.單擊“確定”,完成作業的刪除。
導出作業
用戶可以將所創建的Flink作業導出至OBS桶中。
適用于當用戶切換區域、項目或用戶時,需要創建相同的作業,而作業比較多的情況。此時,不需要重新創建作業,只需要將原有的作業導出,再在新的區域、項目或者使用新的用戶登錄后,導入作業即可。
說明切換項目或用戶時,需要對新項目或用戶授權,具體請參考Flink作業權限管理。
1.在DLI管理控制臺的左側導航欄中,單擊“作業管理”>“Flink作業”,進入Flink作業管理頁面。
2.單擊右上角“導出作業”,打開“導出作業”對話框。
3.選擇保存作業的OBS桶。單擊“下一步”。
4.選擇待導出的作業。
默認導出所有作業,也可以勾選“自定義導出”選擇需要導出的作業。
5.單擊“確認導出”,完成導出作業。
導入作業
用戶可以將保存在OBS桶中的Flink作業配置文件導入至DLI的Flink作業管理中。
適用于當用戶切換區域、項目或用戶時,需要創建相同的作業,而作業比較多的情況。此時,不需要重新創建作業,只需要將原有的作業導出,再在新的區域、項目或者使用新的用戶登錄后,導入作業即可。
如果需要導入自建的作業,建議使用創建作業的功能。具體請參考創建Flink SQL作業,創建Flink Jar作業。
說明
切換項目或用戶時,需要對新項目或用戶授權,具體請參考Flink作業權限管理。
僅支持導入與從DLI導出的Flink作業相同數據格式的作業。
1.在DLI管理控制臺的左側導航欄中,單擊“作業管理”>“Flink作業”,進入Flink作業管理頁面。
2.單擊右上角“導入作業”,打開“導入作業”對話框。
3.選擇需導入的作業配置文件的完整OBS路徑。單擊“下一步”。
4.配置同名作業策略。單擊“下一步”。
- 勾選“配置同名替換”,若待導入的作業名已存在,則覆蓋已存在的作業配置,并且作業狀態重置為草稿。
- 不勾選“配置同名替換”,若待導入的作業名已存在,則不導入同名作業的配置。
5.確認“配置文件”和“同名作業策略”配置無誤。單擊“確認導入”,完成導入作業。
名稱和描述修改
用戶可以根據需要修改作業名稱和描述。
1.在DLI管理控制臺的左側導航欄中,單擊“作業管理”>“Flink作業”,進入Flink作業管理頁面。
2.在需要修改名稱和描述的作業對應的“操作”列中,單擊“更多 > 名稱和描述修改”,彈出“屬性修改”頁面。修改作業名稱和描述。
3.單擊“確定”完成修改。
觸發保存點
在停止作業時,您可以觸發保存點,保存作業的狀態信息。當該作業再次啟動時,您可以選擇是否從最近的保存點恢復。
說明
狀態為“運行中”的作業可以“觸發保存點”,保存作業的狀態信息。
保存點的生命周期從觸發保存點并停止作業開始,重啟作業后結束。保存點在重啟作業后自動刪除,不會一直保存。
導入保存點
導入保存點用于恢復作業狀態。關于保存點,可參見flink官方文檔Checkpointing說明。
具體操作為:選擇保存點的OBS路徑,選擇完成后,單擊“確認”完成導入。
運行時配置
用戶可通過選擇“運行時配置”配置作業異常告警和重啟選項。
說明支持Flink SQL作業,Flink jar作業。
1.在對應Flink作業“操作”列>“更多”中單擊“運行時配置”。
2.在“運行時配置”頁面配置以下參數。
詳見下表:作業運行參數說明
| 參數 | 參數說明 |
|---|---|
| 名稱 | 作業的名稱。 |
| 作業異常告警 | 設置是否將作業異常告警信息,如作業出現運行異常或者欠費情況,以SMN的方式通知用戶。 勾選后需配置下列參數: “SMN主題”: 選擇一個自定義的SMN主題。 |
| 異常自動重啟 | 設置是否啟動異常自動重啟功能,當作業異常時將自動重啟并恢復作業。 勾選后需配置下列參數: “異常重試最大次數”:配置異常重試最大次數。單位為“次/小時”。 ? 無限:無限次重試。 ? 有限:自定義重試次數。 “從Checkpoint恢復”:從已保存的checkpoint恢復作業。 說明 Flink SQL作業需要在編輯頁面勾選“開啟Checkpoint”才可配置該參數。 勾選該參數后,Flink jar作業還需要選擇“Checkpoint路徑”。 “Checkpoint路徑”:選擇checkpoint保存路徑。必須和應用程序中配置的Checkpoint地址相對應。且不同作業的路徑不可一致,否則無法獲取準確的Checkpoint。 |