本章節提供從零開始使用安全集群并執行MapReduce程序、Spark程序和Hive程序的操作指導。

本指導的基本內容如下所示：

1. 創建集群。
2. 創建用戶。
3. 執行MapReduce程序。
4. 執行Spark程序。
5. 執行Hive程序。

創建集群

1. 創建數據湖、數據服務或實時數據流集群，“Kerberos身份認證”默認開啟，且不支持關閉，詳見創建集群相關內容。
2. 登錄翼MR管理控制臺頁面。
3. 單擊“我的集群”，單擊指定的集群名稱，進入集群信息頁面。

創建用戶

1. 登錄翼MapReduce管理控制臺頁面。

2. 單擊“用戶權限”，進入到用戶管理頁面。

   

3. 單擊“添加用戶”，輸入相關信息，單擊“確定”即可。

   

執行MapReduce程序

本小結提供執行MapReduce程序的操作指導，旨在指導用戶在安全集群模式下運行程序。

前提條件

已編譯好待運行的程序及對應的數據文件，如mapreduce-examples-1.0.jar、input_data1.txt。

操作步驟

1. 采用遠程登錄軟件，通過ssh登錄到集群的master節點。
2. 登錄成功后分別執行如下命令，在/opt/client目錄下創建test文件夾。

cd /opt/client
mkdir test

3. 分發keytab文件到/opt/client目錄，例如test.keytab。
4. 執行如下命令認證已創建的用戶，例如test。

kinit -kt /opt/client/test.keytab test

5. 執行如下命令將數據導入到HDFS中。

cd test
hdfs dfs -mkdir /tmp/input
hdfs dfs -put intput_data1.txt /tmp/input

6. 執行如下命令運行程序。

yarn jar mapreduce-examples-1.0.jar WordCount /tmp/input /tmp/output

其中：

/tmp/output指HDFS文件系統中output的路徑，該目錄必須不存在，否則會報錯。

執行Spark程序

本小結提供執行Spark程序的操作指導，旨在指導用戶在安全集群模式下運行程序。

前提條件

已編譯好待運行的程序及對應的數據文件，如Collection.jar、input_data1.txt。

操作步驟

1. 采用遠程登錄軟件，通過ssh登錄到集群的master節點。
2. 登錄成功后分別執行如下命令，在/opt/client目錄下創建test文件夾。

cd /opt/client
mkdir test

3. 分發keytab文件到/opt/client目錄，例如test.keytab。
4. 執行如下命令認證已創建的用戶，例如test。

kinit -kt /opt/client/test.keytab test

5. 執行如下命令將數據導入到HDFS中。

cd test
hdfs dfs -mkdir /tmp/input
hdfs dfs -put intput_data1.txt /tmp/input

6. 執行如下命令運行程序。

cd /opt/client/Spark/spark
bin/spark-submit --class com.tyy.Collection --master yarn-client/opt/client/test/Collection-1.0.jar  /tmp/input

執行Hive程序

本小結提供執行Hive程序的操作指導，旨在指導用戶在安全集群模式下運行程序。

前提條件

已編譯好待運行的程序及對應的數據文件，如hive-examples-1.0.jar、input_data1.txt。

操作步驟

1. 采用遠程登錄軟件，通過ssh登錄到集群的節點。
2. 登錄成功后分別執行如下命令，在/opt/client目錄下創建test文件夾。

cd  /opt/client
mkdir test

3. 分發keytab文件到/opt/client目錄，例如test.keytab。
4. 執行如下命令認證已創建的用戶，例如test。

kinit -kt /opt/client/test.keytab test

5. 執行如下命令運行程序。

chmod +x /opt/hive_examples -R
cd /opt/hive_examples

java -cp .:
hive-examples-1.0.jar:/opt/hive_examples/conf:/opt/client/Hive/Beeline/lib/:/opt/client/HDFS/hadoop/lib* com.tyy.hive.example.ExampleMain