如何使用翼MR
更新時間 2025-04-01 16:24:05
最近更新時間: 2025-04-01 16:24:05
分享文章
本章節主要介紹翼MapReduce基本使用流程。
天翼云大數據平臺 翼MapReduce是一個在云上部署和管理Hadoop系統的服務,一鍵即可開通部署Hadoop、HBase、Hive、Spark、Flink、Doris等大數據集群。翼MapReduce提供租戶完全可控的企業級大數據集群云服務,輕松運行Hadoop、HBase、Hive、Spark、Flink、Doris等大數據組件。
翼MapReduce使用簡單,通過使用在集群中連接在一起的多臺計算機,您可以運行各種任務,處理或者存儲(PB級)巨量數據。翼MapReduce的基本使用流程如下:
- 創建集群:進入天翼云官網,選擇需要的業務場景,創建集群。用戶可以通過業務場景簡化大數據集群組合,可以用于數據湖、數據服務、云搜索、數據分析等業務需要。選擇完業務場景與服務后,用戶可以進一步指定集群的操作系統、主機類型、CPU類型、實例規格、實例數量、數據盤類型(普通IO、高IO、超高IO與通用型SSD多款類型)等。
- 管理集群:上述集群購買部署完成后,翼MapReduce為用戶提供企業級的大數據集群的統一管理平臺翼MR Manager,幫助用戶快速掌握集群服務及主機的健康狀態,通過圖形化的指標監控及時獲取系統的關鍵信息,根據實際業務的性能需求修改服務屬性的配置,對集群、服務、角色實例等實現一鍵啟停等操作。
- 創建翼MapReduce操作用戶:主用戶可以使用統一身份認證服務(Identity and Access Management,簡稱IAM)來創建子用戶,通過精細的權限管理,在翼MR控制臺給子用戶賦予不同的角色權限。
- 退訂:如果您不想繼續使用已有集群,可以通過天翼云官網的訂單管理頁面,對集群進行退訂操作。
- 續訂:如果您的集群即將到期,可以通過續訂操作延長集群使用期限。
- 配置升級:當master、core或者core節點ECS實例的規格(vCPU和內存)無法滿足您的業務需求時,您可以使用配置升級功能提升ECS實例規格。
- 節點擴容:當master、core或task節點組內的資源無法滿足您的業務需求時,您可以使用節點擴容功能增加ECS實例數量。
- 新增節點組:當存量core或task節點組的計算或存儲資源無法滿足您的業務需求時,您可以使用新增節點組功能增加ECS實例。
- 磁盤擴容:當master、core或task節點的數據存儲空間無法滿足您的業務需求時,您可以使用磁盤擴容功能增加云硬盤-數據盤的空間。