如何使用組件客戶端?
- 以root用戶登錄任意一個Master節點。
- 執行su - omm命令,切換到omm用戶。
- 執行cd 客戶端安裝目錄 ,切換到客戶端。
- 執行source bigdata_env命令,配置環境變量。如果當前集群已啟用Kerberos認證,執行kinit 組件業務用戶認證當前用戶。如果當前集群未啟用Kerberos認證,則無需執行此命令。
- 環境變量配置成功后,即可執行組件的客戶端命令。例如查看組件的相關信息,可執行HDFS客戶端命令hdfs dfs -ls /查看HDFS根目錄文件。
集群支持提交哪些形式的Spark作業?
在翼MR后臺中,集群支持提交Spark、Spark Script和Spark SQL形式的Spark作業。
翼MR集群的計算資源最大值為0后,還可以跑Spark任務嗎?
翼MR集群的租戶計算資源最大值改為0后,不可以跑Spark任務。
Spark作業的Client模式和Cluster模式有什么區別?
理解YARN-Client和YARN-Cluster深層次的區別之前先清楚一個概念:Application Master。
在YARN中,每個Application實例都有一個ApplicationMaster進程,它是Application啟動的第一個容器。它負責和ResourceManager打交道并請求資源,獲取資源之后告訴NodeManager為其啟動Container。從深層次的含義講YARN-Cluster和YARN-Client模式的區別其實就是ApplicationMaster進程的區別。
YARN-Cluster模式下,Driver運行在AM(Application Master)中,它負責向YARN申請資源,并監督作業的運行狀況。當用戶提交了作業之后,就可以關掉Client,作業會繼續在YARN上運行,因而YARN-Cluster模式不適合運行交互類型的作業。
YARN-Client模式下,Application Master僅僅向YARN請求Executor,Client會和請求的Container通信來調度工作,也就是說Client不能離開。
如何關閉ZooKeeper的SASL認證?
- 登錄翼MR Manager。
- 選擇“集群服務 > ZooKeeper > 配置管理 ”。
- 在左側導航欄選擇“配置組 > zoo.cfg”,然后,選擇該配置文件右上角的“+”號,添加參數名稱:zookeeper.sasl.disable,再添加參數值:false。
- 在左側導航欄選擇“配置組 > 同步”,執行配置同步工作。
- 重啟ZooKeeper服務。
在翼MR集群外客戶端中執行kinit報錯“Permission denied”如何處理?
問題現象
在翼MR集群外節點上安裝了客戶端后并執行kinit命令報錯如下:
-bash kinit Permission denied
執行java命令正常如下:
-bash: /xxx/java: Permission denied
執行 ll / java安裝路徑 /JDK/jdk/bin/java命令查看該文件執行權限信息正常。
原因分析
執行mount | column -t查看掛接的分區狀態,發現java執行文件所在的掛載點的分區狀態是“noexec”。當前環境中將安裝翼MR客戶端所在的數據盤配置成“noexec”,即禁止二進制文件執行,從而無法使用java命令。
解決方法
- 以root用戶登錄翼MR客戶端所在節點。
- 移除“/etc/fstab”文件中翼MR客戶端所在的數據盤的配置項“noexec”。
- 執行umount命令卸載數據盤,然后再執行mount -a重新掛載數據盤。