集群管理
更新時間 2025-04-01 16:22:40
最近更新時間: 2025-04-01 16:22:40
分享文章
本章節主要介紹翼MapReduce服務的集群管理功能。
創建集群
支持用戶在創建集群時,按需選擇集群類型、組件范圍、操作系統、主機類型、CPU類型、各類型的節點數、主機規格、可用區、VPC網絡等配置。翼MR服務會根據用戶選擇的配置,幫助客戶自動完成企業級大數據平臺的安裝部署和參數調優。
翼MR服務為客戶提供完全可控的大數據集群,客戶在創建時可設置主機的登錄方式,所創建的翼MR集群資源完全歸客戶所用。
翼MR集群類型包括數據湖、數據分析、數據服務、云搜索、實時數據流、自定義集群
- 數據湖集群:提供更高效、靈活的管理集群,更快地運行大數據的計算引擎,更好地提供數據分析能力。
- 數據分析集群:Apache Doris-開源的MPP架構的OLAP分析引擎,支持亞秒級的數據查詢和多表join。
- 數據服務集群:提供更靈活、可靠、高效的數據服務集群。
- 云搜索集群:為結構化/非結構化數據提供低成本、高性能及可靠性的檢索、分析服務能力。
- 實時數據流集群:提供高效的流式計算、消息隊列等組件能力,支持實時數據ETL和日志采集分析的業務需求。
- 自定義集群:提供豐富靈活的服務搭配,支持自行選擇業務所需服務。建議不要將多個存儲類服務部署在一個節點組上,避免資源爭搶。
翼MR集群節點類型包括master節點、core節點和task節點
- master節點:集群中的管理節點,保證集群的調度正常進行;主要部署NameNode、ResourceManager、HMaster等進程。集群默認為HA模式,master節點數固定為3。該類型節點可以通過節點擴容、配置升級與磁盤擴容,以支持更大集群的管理。
- core節點:集群中的計算及存儲節點,主要部署DataNode、NodeManager、HRegionServer等進程。為滿足存儲數據量或計算量擴展的需求,支持配置升級、節點擴容、新增節點組與磁盤擴容。
- task節點:集群中的純計算節點,主要負責計算數據,不存儲數據,支持配置升級、節點擴容、新增節點組與磁盤擴容。
配置升級
當master、core或task節點實例的規格(vCPU和內存)無法滿足您的業務需求時,您可以使用配置升級功能提升實例規格。
節點擴容
當master、core或task節點組內的資源無法滿足您的業務需求時,您可以使用節點擴容功能增加實例數量。
新增節點組
當存量core或task節點組的計算或存儲資源無法滿足您的業務需求時,您可以使用新增節點組功能增加實例組。
磁盤擴容
當master、core或task節點的數據存儲空間無法滿足您的業務需求時,您可以使用磁盤擴容功能增加數據盤的空間。
集群運維管理
翼MR Manager提供資源概覽、集群服務、主機、租戶與資源、監控與告警、運維與配置等運維管理功能。
- 資源概覽:展示該集群下所有主機的CPU、內存、網絡等信息,包括CPU使用率、磁盤使用率、內存使用率、網絡發送速率等。
- 集群服務:展示當前集群下的所有集群服務,并按組件類型、以列表視圖列出,在集群服務列表處支持一鍵啟動所有集群服務、一鍵停止所有集群服務。
- 主機:默認展示當前集群下的所有主機列表,可查看當前運維平臺的所有主機信息。也可以查看主機上的角色實例分配和告警歷史信息。
- 租戶與資源:以集群服務為維度對LDAP用戶、Kerberos安全憑證和YARN隊列進行管理。LDAP用戶管理展示當前集群下的LDAP用戶和用戶組等信息;Kerberos安全憑證支持新建Principal、刪除Principal,支持Keytab分發與下載,并支持查看Keytab的分發記錄;YARN隊列管理支持YARN隊列新建、編輯與刪除,capacity-scheduler.xml的全局屬性配置,支持YARN隊列的同步生效并支持查看同步生效記錄。
- 監控與告警:支持指標查詢和告警歷史功能。指標查詢支持查詢角色實例級、主機級的監控指標,支持指標結果的繪圖操作,讓用戶更直觀獲取監控項變化;告警歷史支持按照集群服務級、角色實例級、主機級查詢告警內容。
- 運維與配置:支持流水線歷史、配置管理、配置歷史、配置同步歷史。流水線歷史展示所有流水線的運行歷史記錄,以及操作人;配置管理支持查看不同集群服務的配置文件,并進行新增、修改、刪除配置等操作;配置歷史支持查看配置文件不同版本的配置內容、并支持不同版本之前的內容對比;配置同步歷史支持查看不同環境的配置同步歷史、配置同步操作人,以及配置同步詳情。