翼MR如何連接spark-shell？
更新時間 2024-05-28 17:18:05
最近更新時間: 2024-05-28 17:18:05
分享文章
本章節主要介紹翼MapReduce組件Spark使用說明。
- 任一用戶登錄集群客戶端節點。
- 配置/usr/local/ 下spark客戶端目錄 conf下的配置，主要是Spark-env.sh 需要配置SPARK_HOME、HADOOP_HOME、HADOOP_CLASSPATH等。
- 如果當前集群已啟用Kerberos認證，執行以下命令認證當前用戶。如果當前集群未啟用Kerberos認證，則無需執行此命令。
- 首先klist -kt <keytab文件路徑>，獲取keytab文件的principal，例如 klist -kt user.keytab 獲得 user/hostname@realm。
- 然后kinit -kt <keytab文件路徑> <獲取到的principal>，例如 kinit -kt user.keytab user/hostname@realm。
- Kinit認證完成登錄后，可以klist -l查看。
- 如果SPARK_HOME/bin 已經配置到系統環境變量中，可以直接spark-shell 進入。否則需要去到SPARK_HOME/bin下執行。
