ALM-14003 丟失的HDFS塊數量超過閾值
更新時間 2023-08-22 15:51:13
最近更新時間: 2023-08-22 15:51:13
分享文章
本章節主要介紹 ALM-14003 丟失的HDFS塊數量超過閾值。
告警解釋
系統每30秒周期性檢測丟失的塊數量，并把丟失的塊數量和閾值相比較。丟失的塊數量指標默認提供一個閾值范圍。當檢測到丟失的HDFS塊數量超出閾值范圍時產生該告警。
用戶可通過“運維 > 告警 > 閾值設置 > 待操作集群的名稱 > HDFS”修改閾值。
平滑次數為1，丟失的HDFS塊數量小于或等于閾值時，告警恢復；平滑次數大于1，丟失的HDFS塊數量小于或等于閾值的90%時，告警恢復。
告警屬性
| 告警ID | 告警級別 | 是否自動清除 |
|---|---|---|
| 14003 | 重要 | 是 |
告警參數
| 參數名稱 | 參數含義 |
|---|---|
| 來源 | 產生告警的集群名稱。 |
| 服務名 | 產生告警的服務名稱。 |
| 角色名 | 產生告警的角色名稱。 |
| 主機名 | 產生告警的主機名。 |
| NameService名 | 產生告警的NameService名稱。 |
| Trigger condition | 系統當前指標取值滿足自定義的告警設置條件。 |
對系統的影響
HDFS存儲數據丟失，HDFS可能會進入安全模式，無法提供寫服務。丟失的塊數據無法恢復。
可能原因
- DataNode實例異常。
- 數據被刪除。
處理步驟
檢查DataNode實例
- 在FusionInsight Manager首頁，選擇“集群 > 待操作集群的名稱 > 服務 > HDFS>實例”。
- 查看所有DataNode實例的狀態是否為“良好”。
- 是，執行步驟11。
- 否，執行步驟12。
- 重啟DataNode實例，查看能否成功啟動。
- 是，執行步驟4。
- 否，執行步驟 5。
- 選擇“運維 > 告警 > 告警”，查看該告警是否恢復。
- 是，處理完畢。
- 否，執行步驟 5。
刪除被破壞的文件
- 在FusionInsight Manager首頁，選擇“集群 > 待操作集群的名稱 > 服務 > HDFS>NameNode(主)”，在HDFS的WebUI頁面，查看列出的丟失塊信息。
注意
如果有丟塊，WebUI上會有一行紅字顯示。
admin用戶默認不具備其他組件的管理權限，如果訪問組件原生界面時出現因權限不足而打不開頁面或內容顯示不全時，可手動創建具備對應組件管理權限的用戶進行登錄。
- 用戶確認丟失塊所在的文件是否有用。
說明MapReduce任務運行過程中在“/mr-history”、“/tmp/hadoop-yarn”、“/tmp/logs”這三個目錄中生成的文件不屬于有用文件。
是，執行步驟7。
否，執行步驟8。
- 用戶確認丟失塊所在的文件是否已備份。
- 是，執行步驟 8。
- 否，執行步驟 11。
- 以root用戶登錄HDFS客戶端，用戶密碼為安裝前用戶自定義，請咨詢系統管理員。執行如下命令：
- 安全模式：
cd 客戶端安裝目錄
source bigdata_env
kinit hdfs
- 普通模式：
su-omm
cd 客戶端安裝目錄
source bigdata_env
- 在節點客戶端執行 hdfs fsck / -delete ，刪除丟失文件。如果丟失塊所在的文件為有用文件，需要再次寫入文件，恢復數據。
說明刪除文件為高危操作，在執行操作前請務必確認對應文件是否不再需要。
- 選擇“運維 > 告警 > 告警”，查看該告警是否恢復。
- 是，處理完畢。
- 否，執行步驟 11。
收集故障信息
- 在FusionInsight Manager首頁，單擊“運維 > 日志 > 下載”。
- 在“服務”中勾選待操作集群的“HDFS”。
- 單擊右上角的
設置日志收集的“開始時間”和“結束時間”分別為告警產生時間的前后10分鐘，單擊“下載”。 - 請聯系運維人員，并發送已收集的故障日志信息。
告警清除
此告警修復后，系統會自動清除此告警，無需手工清除。
參考信息
無。
