添加作業
更新時間 2024-05-07 23:16:09
最近更新時間: 2024-05-07 23:16:09
分享文章
本章節主要介紹在天翼云大數據平臺翼MapReduce的大數據集群中如何添加、運行作業。
用戶可將自己開發的大數據應用程序提交到翼MapReduce中,執行程序并獲取結果。
本章節以MapReduce作業為例,MapReduce作業用于提交jar程序快速并行處理大量數據,是一種分布式數據處理模式和執行環境。通過此次的指導,希望用戶能夠對如何在翼MapReduce服務中提交、運行MapReduce作業有清晰的認知。
當前翼MR服務尚不支持通過前臺界面化進行作業提交、運行的功能。本次的介紹僅說明如何通過后臺功能來提交作業。
通過后臺提交作業
天翼云大數據平臺 翼MapReduce服務中的大數據集群客戶端默認安裝路徑為“/usr/local/”。
-
登錄翼MR管理控制臺。
-
選擇“集群列表 > 我的集群”,選中一個運行中的集群并單擊集群名,進入集群基本信息頁面。
-
選擇“節點管理”,單擊展開節點組,顯示節點列表。
-
在目標節點的右側“操作”列中,單擊“遠程連接”。
-
在VNC方式新標簽頁Web頁面中,可以看到服務器的命令行界面,類似于Linux服務器登錄模式,輸入root賬號,并輸入密碼。
-
當前翼MR集群默認都是開啟Kerberos認證,大數據集群服務及用戶使用到的keytab文件默認放置在“/etc/security/keytabs/”目錄下,執行以下命令做Kerberos認證。
kinit 翼MapReduce集群用戶- 進入“/etc/security/keytabs/”目錄下,選擇你要使用的keytab文件,本文以hdfs.keytab為例,執行如下命令,獲取到正確的Principal名稱。
klist -kt hdfs.Keytab - 使用上一步驟獲取到的Principal名稱,執行如下認證命令。
kinit -kt hdfs.Keytab Principal 名稱
- 進入“/etc/security/keytabs/”目錄下,選擇你要使用的keytab文件,本文以hdfs.keytab為例,執行如下命令,獲取到正確的Principal名稱。
-
執行如下命令提交pi計算作業。
cd /usr/local/hadoop3/share/hadoop/mapreduce hadoop jar hadoop-mapreduce-examples-3.3.3.jar pi 10 10