DLI Flink作業支持哪些數據格式和數據源
DLI Flink作業支持如下數據格式:
Avro,Avro_merge,BLOB,CSV,EMAIL,JSON,ORC,Parquet,XML。
DLI Flink作業支持如下數據源:
CloudTable HBase,CloudTable OpenTSDB,CSS Elasticsearch,DCS,DDS,DIS,DMS,DWS,EdgeHub,MRS HBase,MRS Kafka,開源Kafka,文件系統,OBS,RDS,SMN。
如何給子用戶授權查看Flink作業?
子用戶使用DLI時,可以查看隊列,但是不能查看Flink作業,可以通過在DLI中對子用戶授權,或在IAM中對子用戶授權:
- DLI授權管理
1.使用租戶賬號,或者作業owner賬號,或有DLI Service Administrator權限的賬號,登錄DLI控制臺。
2.在“作業管理”>“Flink作業”頁面找到對應的作業。
3.在對應作業的“操作”欄中選擇“更多”>“權限管理”。
4.在“授權”頁面輸入需要授權的用戶名,勾選需要的權限。確認后,被授權用戶就可以查看該作業,并且執行對應操作。
- IAM授權管理
1.登錄統一身份認證IAM控制臺,在“權限”頁面,單擊“創建自定義權限”。
2.為查看DLI Flink作業創建權限策略:
-策略名稱:可以使用默認名稱,也可以自定義。
-作用范圍:選擇“項目級服務”。
-策略配置方式:選擇“可視化視圖”。
-策略內容:依次選擇“允許”,“數據湖探索”,“dli:jobs:list_all”。
單擊“確認”,創建策略。
3.在“用戶組”頁面,找到需要授權的用戶所屬的用戶組,單擊用戶組名稱,進入用戶組“權限管理”頁面,單擊“配置權限”。
4.為對應的用戶組授權:
-在以下作用范圍:選擇“區域級項目”。
-擁有以下權限:勾選b中創建的權限策略。
或者勾選系統角色“DLI Service Admin”(權限較大,擁有DLI所有權限)也可以實現Flink作業的查看。
Flink作業設置“異常自動重啟”
場景概述
DLI Flink作業具有高可用保障能力,通過設置“異常自動重啟”功能,可在周邊服務短時故障恢復后自動重啟。
操作步驟
1.登錄DLI控制臺,選擇“作業管理”>“Flink作業”。
2.在Flink作業編輯頁面,勾選“異常自動重啟”。
Flink作業如何保存作業日志
在創建Flink SQL作業或者Flink Jar作業時,可以在作業編輯頁面,勾選“保存作業日志”參數,將作業運行時的日志信息保存到OBS。
勾選“保存作業日志”參數后,需配置“OBS桶”參數,選擇OBS桶用于保存用戶作業日志信息。如果選擇的OBS桶是未授權狀態,需要單擊“OBS授權”。
日志信息的保存路徑為:“桶名/jobs/logs/作業id開頭的目錄”。其中,“桶名”可以自定義。“/jobs/logs/作業id開頭的目錄”為固定格式。
在作業列表中,單擊對應的作業名稱,然后在“運行日志”頁簽,可以單擊頁面提供的OBS鏈接跳轉至對應的路徑下。
Flink作業管理界面對用戶進行授權時報用戶不存在怎么辦
問題現象
在“作業管理 > Flink作業”,對應作業“操作”列,選擇“更多 > 權限管理”,對新用戶進行授權操作時報“No such user. userName:xxxx.”錯誤。
解決方案
需要確認下當前用戶名是否存在,并且該用戶需要成功登錄一次云系統才能進行授權操作。
手動停止了Flink作業,再次啟動時沒有提示從哪個Checkpoint恢復
問題現象
在創建Flink作業時開啟了Checkpoint,指定了Checkpoint保存的OBS桶。手工停止Flink作業后,再次啟動該Flink作業沒有提示從哪個Checkpoint恢復。
解決方案
由于Flink Checkpoint和Savepoint生成機制及格式一致,因而,也可以通過Flink作業列表“操作”列中的“更多 > 導入保存點”,導入OBS中最新成功的Checkpoint,并從中恢復。
1.登錄DLI管理控制臺,選擇“作業管理 > Flink作業”。
2.在對應Flink作業所在行,選擇“操作 > 導入保存點”。
3.在導入保存點界面選擇Checkpoint的OBS桶路徑,Checkpoint保存路徑為:“桶名/jobs/checkpoint/作業id開頭的目錄”。單擊“確定”完成導入操作。
4.再次啟動Flink作業,即從對應的檢查點路徑恢復作業。
DLI使用SMN主題,提示SMN主題不存在,怎么處理?
設置DLI Flink作業的運行參數時,勾選“作業異常告警”參數,可在作業出現運行異常或者欠費情況時,將作業異常告警信息,以SMN的方式通知用戶。
如果使用已創建的SMN主題時,提示SMN主題不存在,請進入統一身份認證服務(IAM),選擇對應子賬戶所在的用戶組,添加相應Region的SMN策略。
