告警解釋
系統按照30秒的周期檢測Storm服務是否可用,當集群全部的Nimbus節點異常時,Storm服務不可用,系統產生此告警。
當Storm服務恢復正常,告警自動清除。
告警屬性
| 告警ID | 告警級別 | 是否自動清除 |
|---|---|---|
| 26051 | 緊急 | 是 |
告警參數
| 參數名稱 | 參數含義 |
|---|---|
| 來源 | 產生告警的集群名稱。 |
| 服務名 | 產生告警的服務名稱。 |
| 角色名 | 產生告警的角色名稱。 |
| 主機名 | 產生告警的主機名。 |
對系統的影響
集群無法對外提供Storm服務,用戶無法執行新的Storm任務。
可能原因
- Kerberos集群故障。
- ZooKeeper集群故障或假死。
- Storm集群中主備Nimbus狀態異常。
處理步驟
檢查Kerberos集群狀態(普通模式集群跳過此步驟)
1.在FusionInsight Manager管理界面,選擇“集群 > 待操作集群的名稱 > 服務”。
2.查看Kerberos服務的運行狀態是否為“良好”。
- 是,執行步驟5。
- 否,執行步驟3。
3.參考“ALM-25500 KrbServer服務不可用”的相關維護信息進行操作。
4.查看告警是否清除。
- 是,處理完畢。
- 否,執行步驟5。
檢查ZooKeeper集群狀態
5.查看ZooKeeper服務的運行狀態是否為“良好”。
- 是,執行步驟8。
- 否,執行步驟6。
6.如果Zookeeper服務停止運行,則啟動服務,否則參考“ALM-13000 ZooKeeper服務不可用”的相關維護信息進行操作。
7.查看告警是否清除。
- 是,處理完畢。
- 否,執行步驟8。
檢查主備Nimbus狀態
8.選擇“集群 > 待操作集群的名稱 > 服務 > Storm Nimbus”,進入Nimbus實例頁面。
9.查看“角色”中是否存在且僅存在一個狀態為主的Nimbus節點。
- 是,執行步驟13。
- 否,執行步驟10。
10.勾選兩個Nimbus角色實例,選擇“更多 > 重啟實例”,查看是否重啟成功。
- 是,執行步驟11。
- 否,執行步驟13。
11.重新登錄FusionInsight Manager管理界面,選擇“集群 > 待操作集群的名稱 > 服務 > Storm > Nimbus”,查看運行狀態是否為“良好”。
- 是,執行步驟12。
- 否,執行步驟13。
12.等待30秒,查看告警是否恢復。
- 是,處理完畢。
- 否,執行步驟13。
收集故障信息
13.在FusionInsight Manager界面,選擇“運維 > 日志 > 下載”。
14.在“服務”中勾選待操作集群的如下節點信息。
- KrbServer
說明普通模式不需要下載KrbServer日志。
ZooKeeper
Storm
15.單擊右上角的
設置日志收集的“開始時間”和“結束時間”分別為告警產生時間的前后10分鐘,單擊“下載”。
16.請聯系運維人員,并發送已收集的故障日志信息。
告警清除
此告警修復后,系統會自動清除此告警,無需手工清除。
參考信息
無。